当 BatchNorm 打在变长 batch 上会随 pad 抖动、按位置归一化却能立刻稳住,均值和方差沿哪一维归约,逐步解码又为何不必维护跑均值?
题目
当 BatchNorm 打在变长 batch 上会随 pad 抖动、按位置归一化却能立刻稳住,均值和方差沿哪一维归约,逐步解码又为何不必维护跑均值?
参考答案
点击展开参考答案
- LayerNorm 只对单个样本、单个位置的 d_model 维向量算均值和方差,再做 (x−μ)/(σ+ε),然后乘 γ、加 β;张量 [B, T, D] 上归约的是最后一维 D,不看同 batch 其他句子,也不看同一句的其他 token。
- BatchNorm 沿 batch(或把 T 也卷进去)统计,pad 比例、句子长度、推理时 B=1 都会让均值方差和训练错位。
- LayerNorm 的统计量来自当前向量自己,训练和逐步解码同分布,所以变长语言模型用它,而不是视觉里那种要跑均值的 BatchNorm。
- γ、β 形状是 [D],用来在归一化后恢复各通道的尺度和偏移,否则子层被钉在均值 0、方差 1,表达力被砍。
- 混合精度里这一步的均值/方差常留在 FP32:D 一般是 4k 量级,半精度下很多小数量加再减均值,方差容易下溢或出 NaN。