13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?
题目
13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?
参考答案
点击展开参考答案
- Decode 每步对每个请求只做一次「权重 × 单 token 激活」的矩阵-向量乘:几乎要把权重扫完,算力却不随序列线性涨(注意力读 KV 另算)。
- 算术强度 ≈ 有效 FLOP / 从显存读的字节。
- bf16 每参数 2 字节,每参数对单个 token 大约 2 次乘加,强度大约 1 FLOP/字节,远低于这块卡的平衡点 300e12 / 1e12 ≈ 300 FLOP/字节。
- 屋顶线因此落在带宽一侧:速度上限大约是权重字节 / 带宽,不是峰值 TFLOPS。
- 13B bf16 权重大约 26 GB。
- 理想情况下一步 decode 至少扫一遍权重,上限约 26e9 / 1e12 ≈ 26 ms/token,即约 40 token/s(尚未计 KV、碎片、内核启动)。