部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?
题目
部署 70B 模型:4 张卡把每一层张量切开并行,对比起 4 个完整副本,首 token 延迟谁更低,整个集群的吞吐又是谁更高?
参考答案
点击展开参考答案
- 张量并行把单层 GEMM 和注意力头切到 4 卡,单请求的计算和显存都按近 4 分,TTFT 和 TPOT 通常下降,前提是卡间 AllReduce 比省下的计算更便宜。
- 4 个完整副本没有层内通信,总吞吐近似 ×4,但每个副本仍要装下整网权重——70B BF16 根本放不进单卡,纯副本方案会先出局。
- 显存不够用张量并行,显存够了要吞吐用副本。
- 以列切 / 行切的 MLP 为例:
Y = SiLU(X W1) W2,把 W1 按列分到 4 卡,每卡算 1/4 中间通道,SiLU 局部完成;W2 按行分,再对部分和做一次 AllReduce 得到 Y。 - 注意力常按头切,每卡算 1/4 的头,输出再汇合。