新任务交叉熵仍在下降,但安全拒答、小学算术、开放域问答这些通用探针已经失分。这算灾难性遗忘,还是只是一般的过拟合?训练中途优先动哪些设置?
题目
新任务交叉熵仍在下降,但安全拒答、小学算术、开放域问答这些通用探针已经失分。这算灾难性遗忘,还是只是一般的过拟合?训练中途优先动哪些设置?
参考答案
点击展开参考答案
- 先拆两张曲线:新任务的训练/验证损失一起降、只是旧能力掉,是灾难性遗忘;新任务验证损失已经抬头、旧能力也乱,更像过拟合或学崩。
- 遗忘是顺序训练改写了对旧输入仍有用的特征,模型没有「保留旧映射」的约束。
- 中途优先降学习率、提前停在通用探针尚未崩的步数、在每个 batch 混入一部分通用指令和安全样本做回放;全参数仍在狂降通用分时,应改成冻结基座只训 LoRA,而不是再加 epoch。
- 过拟合的诊断锚在「同一任务」:训练损失远低于验证损失,或验证集里近重复样本被整段复述。
- 遗忘的诊断锚在「任务外」:领域分类还在涨,但冻结的通用集(短数学、常识问答、安全拒答、遵循无关指令)单调下滑。