《主流大模型微调与推理算力选型与配置表》

一、按模型规模估算显存

选型第一步是估算显存。以 7B–70B 参数的主流开源模型（Qwen、DeepSeek、GLM、Kimi 系列）为参照：FP16/BF16 精度下权重约占「参数量 × 2 字节」，再叠加 KV Cache 与框架运行开销。多轮对话与长上下文场景下，KV Cache 的占比会随上下文长度显著上升。

• 推理（FP16/BF16）：7B 约需 16–24GB、14B 约 30–40GB、32B 约 70–80GB、70B 通常需 150GB 以上（多卡并行或量化部署）
• 量化推理：INT8 显存约减半、INT4 约减至四分之一，代价是少量精度损失，适合推理侧降本
• LoRA 微调：在推理占用之上增加可训练参数与激活显存；全参微调建议按权重的 4 倍以上预留
• 以上为通用工程估算口径，实际占用与框架实现、上下文长度、并行策略有关

二、训练与推理的配置侧重

训练与微调更看重卡间互联带宽与多卡扩展效率；推理更看重单卡吞吐、显存容量与批量（batch）调度。同一型号显卡在两种负载下的性价比可能完全不同。

• 训练 / 微调：优先高速卡间互联（如 NVLink）、张量并行 + 数据并行、互联拓扑一致性
• 推理服务：优先单卡吞吐、量化方案、KV Cache 管理，多实例横向扩展
• 评估口径：以自己的模型与数据集实测为准，规格数字只做初筛

三、在星战智算上选型

星战智算支持 NVIDIA、华为昇腾、沐曦、平头哥等多算力混合管理，提供 20+ 款 GPU 规格，三级租户隔离保障资源边界。计费上按量计费适合先小规模验证再扩容，包年包月适合长期稳定负载；使用流程可概括为「选卡 → 起环境 → 跑负载」三步。