跳到主要内容

某模型的归一化层只做一件事:除以均方根,既不减均值,也没有偏置。与 LayerNorm 相比,前向计算省掉了哪几步?网络很深时,残差流的量级靠什么维持住?

模型选型与微调中级模型选型与微

题目​

某模型的归一化层只做一件事:除以均方根,既不减均值,也没有偏置。与 LayerNorm 相比,前向计算省掉了哪几步?网络很深时,残差流的量级靠什么维持住?

参考答案​