跳到主要内容

实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?

Agent 性能优化中级成本

题目​

实测大约 28 token/s,对照一张卡 HBM 封顶大约 50。70B 正以 2 路张量并行做 decode。如何把 all-reduce 在每一层的 payload 字节与 NVLink 实际吞吐折成第三道封顶,并在降低 TP、通算重叠、承认这个 batch 已碰到通信天花板之间抉择?

参考答案​