层数逼近一百、采用后归一化时,grad-norm 会在半程失控。换成进入子层前先归一化、残差按原值加回,预热为何能压短?少乘的 Jacobian 是哪一截?
题目
层数逼近一百、采用后归一化时,grad-norm 会在半程失控。换成进入子层前先归一化、残差按原值加回,预热为何能压短?少乘的 Jacobian 是哪一截?
参考答案
点击展开参考答案
- Post-Norm 写 x←Norm(x+Sublayer(x)),残差和子层输出都要再过归一化,浅层梯度被一串 Norm 的 Jacobian 连乘,深度到几十上百层就容易炸,需要很长的学习率爬坡。
- Pre-Norm 写 x←x+Sublayer(Norm(x)),残差支路是恒等映射,梯度可以不经过归一化直通到 embedding。
- 少乘的就是每一层残差之后那道 Norm 的导数。
- 现代深 decoder 多用 Pre-Norm,并在最后一层后再做一次最终归一化,因为残差流本身不再被重新缩放。
- 反传时 Post-Norm 的主路径是 ∂Norm/∂z · (I + ∂Sublayer/∂x),Norm 在均值–方差约束下会压梯度;层数一多,早期 token 的 embedding 更新极不稳定。
- Pre-Norm 的主路径多了一条纯粹的 +1,子层梯度再叠加,对 warmup 依赖小得多。