实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?
题目
实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?
参考答案
点击展开参考答案
- 单卡 HBM 屋顶只按「每步读完本卡权重」计价,TP=2 之后每层还要为注意力输出和 MLP 输出做 all-reduce,这是第三条屋顶。
- 用层数 × 每层集合通信次数 × 单次 payload(batch × 隐宽 × 元素字节 × 2(TP−1)/TP)除以实测 NVLink 有效带宽,再和「通信次数 × 单次尾延迟」取较紧的那个,得到通信上限。
- 28 贴近这条通信上限就不要再加 batch;通信上限仍远高于 50 而实测 28,优先重叠或砍同步;模型能放进更少卡时减 TP,让逐步集合通信从关键路径上消失。
- 以常见 70B(例如 80 层、隐宽 8192、BF16)示意:TP=2 时每层常见两次 all-reduce(注意力投影后一次、MLP 后一次),环 all-reduce 体积因子是
2(TP−1)/TP = 1,故每步每条序列的通信字节 ≈ 80×2×8192×2 B ≈ 2.6 MB;batch=B 则乘 B。 - H100 机内互联峰值以公开规格约数百 GB/s 计,2.6 MB 的带宽上限看起来远高于 50 token/s,但 decode 的 payload 很小,真正打的是延迟屋顶:若一次集合通信尾延迟在约 20–50 µs(示意,用你自己拓扑上的集合通信剖析),160 次就是约 3–8 ms,叠上无法隐藏的 launch 和等待,步时会从 HBM 屋顶的约 20 ms(对应 50 token/s)被推到 30–40 ms,约 25–33 token/s,和 28 同一量级。