多训几个 epoch 时,最先崩掉的通常是哪类行为?监督微调单步里若用户问题的 token 也进交叉熵,会养成什么坏习惯?学习率为何常低于预训练峰值?
题目
多训几个 epoch 时,最先崩掉的通常是哪类行为?监督微调单步里若用户问题的 token 也进交叉熵,会养成什么坏习惯?学习率为何常低于预训练峰值?
参考答案
点击展开参考答案
- 这一步和语言模型训练同构:打包(指令,回答)→ 前向 → 对位移的交叉熵 → 反向 → 用较保守的学习率更新选定参数。
- 用户问题对应的 label 通常打成忽略(例如 -100),否则模型会把容量花在复述问题、学会「先把问句抄一遍再答」。
- 学习率低于预训练峰值,是因为你已经在一个可用盆地里,步子太大先冲掉通用先验。
- epoch 一多,最先坏的往往是表面 n-gram:开始背示范原句、拒答变松、或把训练里的口头禅当成任务格式。
- 数据流上,提示 token 仍要进前向,因为回答的条件分布依赖它们;只是损失掩码让梯度不从「预测用户刚才说了什么」那条路径回来。
- 全量微调更新全体 W,PEFT 只让附件或前缀接收更新,损失定义不变。