"私有化部署一套大模型要多少钱？"很多企业只算了 GPU 采购价，上线后才发现这只是账本的三分之一。完整的成本结构大致如下。

硬件成本。以 70B 级模型为例，满足部门级并发通常需要 2–4 张高端推理卡；若需微调能力，投入再上一个台阶。硬件通常按 3–4 年折旧。

电力与机房。高功耗 GPU 对供电与散热要求苛刻，机房改造与常年电费是容易被忽略的持续性支出。

运维人力。推理框架升级、模型版本切换、显存与并发调优，需要专人或厂商服务支撑。这笔费用常常超过硬件折旧。

模型更新。开源模型迭代极快，"跟"还是"不跟"是策略问题：跟则持续投入迁移与评测成本，不跟则能力逐渐落后。

容灾与备份。关键业务依赖大模型后，高可用与容灾就要提上日程，这意味着额外的冗余投入。

务实的建议是：并发不高、场景标准的阶段优先考虑 API 或混合部署；当数据敏感度或调用规模跨过临界点后，私有化的总账才真正划算。