一、对比维度
- 显存容量与带宽：决定能装下多大的模型、IO 是否成为瓶颈
- 算力精度：FP16 / BF16 面向训练，INT8 / FP8 面向推理
- 卡间互联：NVLink / PCIe 的带宽差异决定多卡训练扩展效率
- 能耗：影响机柜功率上限与散热成本
二、常见卡型公开规格速览
- 高显存档位（80GB 级）：高带宽与高速互联，适合大参数模型训练与高并发推理
- 中高显存档位（48GB 级）：适合单卡推理、视觉与图形计算负载
- 工作站级 48GB 显存档位：适合图形工作负载与中小模型推理
- 国产加速卡（华为昇腾、沐曦等）：平台支持异构统一纳管，具体型号以算力市场为准
说明
以上为厂商公开资料整理，同一型号不同封装（如 SXM / PCIe）规格有差异；实际可选卡型与价格以算力市场页面为准。
三、按模型规模快速选型
- 7B 级模型：单卡 24GB 及以上即可 FP16 推理，量化后门槛更低
- 14B–32B：单卡 48GB，或双卡并行
- 70B：多卡 80GB 级互联部署，或量化后压缩到较少卡
- 训练场景在推理占用之上再预留优化器与激活开销，详见《常见大模型微调与推理算力选型与配置表》
需要进一步帮助？
把节点标识、报错截图与复现步骤发给我们，技术团队会更快定位。