跳到主要内容

多训几个 epoch 时,最先崩掉的通常是哪类行为?监督微调单步里若用户问题的 token 也进交叉熵,会养成什么坏习惯?学习率为何常低于预训练峰值?

模型选型与微调中级成本微调

题目​

多训几个 epoch 时,最先崩掉的通常是哪类行为?监督微调单步里若用户问题的 token 也进交叉熵,会养成什么坏习惯?学习率为何常低于预训练峰值?

参考答案​