硬件成本预估
输入“/”快速插入内容
硬件成本预估
硬件成本预估
用户8317用户8317
用户5283用户5283
用户7574用户7574用户9774用户97745月27日修改
模型和算力评估
产品线 | comi服务器成本（最低配置） | 模型算力成本 | 备注 |
A6启航版 （OA+CoMi一体化） (最多200用户注册） | 一体化安装（OA+CoMI） 服务器配置：16C+64G | 云端模型：成本<1000元/月(以实际使用情况为准) | 配置升级、数量不变： 8C+32G -->16C+64G 单机服务器成本增加2000元 （总成本预计8000元左右） |
A8/A9 （CoMi 独立部署） (75并发为基数） 注册数500 | OA和CoMi分离部署 OA独立服务器见OA部署手册； CoMi独立服务器：16C+64G+500G硬盘 | 选择一： 云端模型：成本<1000元/月 按照1000人计算(以实际使用情况为准) | |
| | 选择二： 已购买一体机/已部署模型算力：没有成本 | |
| | 选择三： 已有CPU服务器资源，没有GPU，需要准备如下： 1、LLM最低建议模型Qwen3-30B-A3B-Instruct-2507-FP8，10并发场景显卡推荐：RTX 4090 24GB X 4张起步（预计成本8万） 或 NVIDIA L20 48G × 2张起步 预计5万。如涉及更高并发需要准备更多算力GPU。 2、Embedding模型推荐bge-m3，ReRank模型推荐bge-reranker-v2-m3，两个模型可共用一张显卡，显卡推荐：NVIDIA RTX 4080 16G × 1张卡 | |
| | 选择四： 重新部署算力服务：预计成本16万以上： 1、LLM最低建议模型Qwen3-30B-A3B-Instruct-2507-FP8，10并发场景显卡推荐：RTX 4090 24GB X 4起步或 NVIDIA L20 48G × 2张起步。如涉及更高并发需要准备更多算力GPU。 LLM整机参考：Intel 8358P 2.6G 32C*232GB DDR4 3200*8.960G SATA SSD *2.皓3.84TB NVME SSD * 1,8TB SATA 3.5寸硬盘*2,8日 SAS 卡*1.NV 4090 24GB 显卡*4 起步,0双口千兆网卡，冗余电源 2、Embedding模型推荐bge-m3，ReRank模型推荐bge-reranker-v2-m3，两个模型可共用一张显卡，显卡推荐：NVIDIA RTX 4080 16G × 1张卡 | |
注意：
•
模型算力需要单独的服务器资源，表格中的推荐供参考，以专业厂商推荐为准
•
作为生产运行，LLM语言模型30B是最低要求（更低参数模型准确率可能会大打折扣），如果客户算力足够大可以使用更优秀的高参模型，比如Qwen3-235B、DeepSeek-V3.x
•
同一个模型不同量化精度所需算力不同，一般主流的量化精度是FP16 > FP8 > INT4，精度越低所消耗算力越少 但准确率越差，不能低于4bit量化，推荐使用模型厂商官方发布的量化模型
•
智能体场景均推荐使用非思考模式的模型，思考模型（推理速度缓慢）可能会因为Agent执行路径过长而响应超时
•
•
•
•
•
大模型选型视频说明
本视频介绍了CoMi推荐使用的模型（公有云 和 本地化均有说明），尤其是本地化模型如何根据用户并发、模型参数、量化精度进行GPU算力测算，有详细的说明。
5.大模型型号详解和选型说明.pptx
17.86MB