占用率、合并访存、warp 分歧,排查自己写的 RMSNorm 在 CUDA 上比官方库慢三倍时,优先级顺序该怎么排?
题目
占用率、合并访存、warp 分歧,排查自己写的 RMSNorm 在 CUDA 上比官方库慢三倍时,优先级顺序该怎么排?
参考答案
点击展开参考答案
- 先认定 RMSNorm 是带宽墙:它对隐向量做归约再缩放,算术强度很低,慢三倍多半是没吃满 HBM 或引入了多余往返。
- 按顺序查:warp 内是否对连续地址做向量化合并读取、归约是否在寄存器 / 共享内存里做完、占用率是否低到藏不住访存延迟、以及是否按 token 走了发散分支。
- 库实现通常把这几件事和 16 字节加载绑在一起。
- 主机
<<<grid, block>>>启动后,线程用blockIdx/threadIdx认领元素。 - 对形状
[B, T, H],合理映射是一个 warp 或一个 block 处理一根长度为 H 的向量:先向量化加载算平方和,用 warp shuffle 或共享内存做树状归约得到 σ,再第二遍写x * rsqrt(σ²+ε)。