跳到主要内容

层数逼近一百、采用后归一化时,grad-norm 会在半程失控。换成进入子层前先归一化、残差按原值加回,预热为何能压短?少乘的 Jacobian 是哪一截?

模型选型与微调中级模型选型与微

题目​

层数逼近一百、采用后归一化时,grad-norm 会在半程失控。换成进入子层前先归一化、残差按原值加回,预热为何能压短?少乘的 Jacobian 是哪一截?

参考答案​