SRAM 型 LPU 对比 HBM GPU:客服要单流每秒 200 个 token、抖动压在 5% 以内,你押哪边,落选者卡在哪条屋顶?
题目
SRAM 型 LPU 对比 HBM GPU:客服要单流每秒 200 个 token、抖动压在 5% 以内,你押哪边,落选者卡在哪条屋顶?
参考答案
点击展开参考答案
- 单流超高 tokens/s 加硬实时抖动,押 SRAM 型 LPU:权重量在片上,decode 不再每步付 HBM 往返,编译器静态排好指令和片间传输,延迟可预测。
- HBM GPU 在 batch=1 时受大约数 TB/s 的片外带宽限制,70B 级权重每步要读几十 GB,理论上就很难稳定打到 200 token/s,队列和缓存未命中还会加抖动。
- 若目标改成高并发总吞吐而不是单流极限,GPU 的批处理反而更划算。
- Decode 的屋顶是“每 token 必须触及的权重字节 ÷ 可用带宽”。
- HBM 路径:例如 70B × 1 字节(FP8)≈ 70 GB,除以约 3 TB/s 量级带宽,理论上限大约几十 token/s,再扣内核效率和 KV 读取,单流很难到 200。