decode 一步里,总参 400B、激活约 50B 的稀疏模型为何常常慢于同样激活 50B 的稠密模型?
题目
decode 一步里,总参 400B、激活约 50B 的稀疏模型为何常常慢于同样激活 50B 的稠密模型?
参考答案
点击展开参考答案
- Decode 一步通常受显存带宽限制:要把这一步用到的权重和 KV 读进计算核。
- 50B 稠密模型每步读约 50B 连续参数;例如总参 400B、激活约 50B 的 MoE,纸面算力相近,但仍要把选中专家从分散地址聚起来,并做跨设备 all-to-all。
- 小 batch 时通信占比高,空闲专家所在设备还在同步等待,墙钟延迟常高于内核更熟、无需路由的 50B 稠密模型。
- 稠密:每层两三个大 GEMM,形状规整,利用率高,延迟随 batch 平滑。
- MoE:路由是离散选择,同一步不同 token 走不同专家,大核被切成若干小核;为放下 400B 权重必须做专家并行或卸载,前者加通信,后者加主机总线往返。