某模型的归一化层只做一件事:除以均方根,既不减均值,也没有偏置。与 LayerNorm 相比,前向计算省掉了哪几步?网络很深时,残差流的量级靠什么维持住?
题目
某模型的归一化层只做一件事:除以均方根,既不减均值,也没有偏置。与 LayerNorm 相比,前向计算省掉了哪几步?网络很深时,残差流的量级靠什么维持住?
参考答案
点击展开参考答案
- RMSNorm 计算 x̂ = x / √(mean(x²)+ε),再乘可学习的 γ,常见实现不加 β。
- 对比 LayerNorm,少了一次求均值、一次向量减法、一次加偏置,归约仍沿 D,kernel 更短、访存更少。
- 它不把各维均值拉到 0,只把向量的欧氏尺度拉回常数附近;残差流因此不会按层数线性胀死。
- 公共偏置要靠后面的线性层吸收。
- 对 x∈R^D,LayerNorm 要保存 μ、再广播相减、再算方差;RMSNorm 只做一次平方均值。
- D=4096 时每层每 token 少几次全宽读写,叠几十层、长序列时带宽可见。