跳到主要内容

当 BatchNorm 打在变长 batch 上会随 pad 抖动、按位置归一化却能立刻稳住,均值和方差沿哪一维归约,逐步解码又为何不必维护跑均值?

模型选型与微调中级模型选型与微

题目​

当 BatchNorm 打在变长 batch 上会随 pad 抖动、按位置归一化却能立刻稳住,均值和方差沿哪一维归约,逐步解码又为何不必维护跑均值?

参考答案​