跳到主要内容

13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?

Agent 性能优化中级性能优化

题目​

13B 用 bf16 在 batch=1 下做 decode,面对算力宣传值 300 TFLOPS、片外 HBM 约 1 TB/s(仅作示意)的卡。是否仍落在带宽墙上?算术强度的屋顶线该怎么摊开写明?

参考答案​