Pre-LN 和 Post-LN 的区别?为什么大模型普遍用 Pre-LN?
题目
Pre-LN 和 Post-LN 的区别?为什么大模型普遍用 Pre-LN?
参考答案
点击展开参考答案
- Post-LN(原版 Transformer):
x = LayerNorm(x + Sublayer(x)),先残差连接再做 LayerNorm;训练需要 warmup,深层网络容易梯度不稳定。 - Pre-LN(GPT-2 及之后):
x = x + Sublayer(LayerNorm(x)),先做 LayerNorm 再进子层,残差通路是干净的;梯度可以直接回传,训练更稳定。 - 为什么 Pre-LN 更稳定:残差支路没有被 LayerNorm 截断,梯度可以无损地从顶层回传到底层,类似 ResNet 的 identity path;不需要 warmup 也能稳定训练。
- Pre-LN 的缺点:最终表现可能略逊于 Post-LN(有论文指出 Pre-LN 的表示上界略低),但工程稳定性远优先。
- 追问:RMSNorm 是什么?和 LayerNorm 区别?(答:RMSNorm 去掉了均值中心化和偏置项,只做 RMS 归一化,计算更快,效果相当;LLaMA/Qwen 都用 RMSNorm)