若残差变成覆盖更新,32 层深的 Transformer 会先在何处把训练打崩,梯度又如何回传?
题目
若残差变成覆盖更新,32 层深的 Transformer 会先在何处把训练打崩,梯度又如何回传?
参考答案
点击展开参考答案
- 残差把每个子层写成 y = x + F(x),反向时 ∂L/∂x = ∂L/∂y · (I + ∂F/∂x),单位阵提供一条不经过注意力/FFN 的梯度通路。
- 若改成 y = F(x),32 层雅可比连乘,梯度范数按层指数衰减或爆炸,loss 尖峰或 NaN 通常先出现在较深的块。
- 残差的工程含义不是“多一条连线”,而是让深层仍能收到接近 1 的梯度,并让底层表示不被每一层彻底重写。
- 以常见 Pre-Norm 为例,数据流是 x ← x + Attn(Norm(x)),再 x ← x + FFN(Norm(x)),残差支路是恒等,张量形状保持 [B, S, d_model]。
- 即使子层局部雅可比的奇异值 σ < 1,恒等项仍把梯度原样下传;σ = 0.9 时 σ³² ≈ 0.03,σ = 0.7 时 σ³² ≈ 1×10⁻⁵,纯覆盖路径在 32 层已经接近断网。