部署 70B 模型,显存不够,你会怎么选型和部署?
题目
部署 70B 模型,显存不够,你会怎么选型和部署?
参考答案
点击展开参考答案
- 显存估算:70B FP16 权重 ~140GB;INT4 量化后 ~35GB。
- 单卡方案:INT4 量化 + vLLM,单张 A100 80GB 或 H100 80GB 可以跑,但 KV Cache 空间有限,并发不能太高。
- 多卡方案:张量并行 TP=2 或 TP=4,每卡放一部分权重;FP16 部署需要 2~4 张 80GB 卡。
- 推荐方案:如果追求性价比 → INT4 量化 + 单/双卡 vLLM;如果追求效果和并发 → FP16 + 4 卡 TP。
- 备选:考虑用 34B/32B 模型,INT4 后单卡就能跑,效果和 70B 差距不大,成本低很多。
- 追问:张量并行和流水线并行的区别?(答:TP 是层内切分(每个矩阵拆到多卡),通信频繁但延迟低,适合单节点多卡;PP 是按层切分(不同层放不同卡),通信少但有 bubbles,适合多节点)