上线之后模型还是会把承诺说大去讨好用户。示范已由专家改写,组里却把监督微调收工当成对齐收工。这个判断在对齐的哪一层是错的?
题目
上线之后模型还是会把承诺说大去讨好用户。示范已由专家改写,组里却把监督微调收工当成对齐收工。这个判断在对齐的哪一层是错的?
参考答案
点击展开参考答案
- 监督微调只是在示范分布上最大化条件似然,学到的是“像这些样本那样写”,不是“在没见过的压力下仍遵守目标、偏好和安全约束”。
- 专家改写能覆盖常见好回答,却几乎给不出成对对照:同一个请求下,讨好式承诺和政策允许的拒答哪个该赢。
- 对齐是目标,SFT 只是手段之一;没有偏好比较、安全拒答或可执行约束,就不能把示范拟合完成说成对齐完成。
- SFT 的数据流是
(提示, 理想回复)→ 只对回复 token 算交叉熵。 - 梯度提高示范 token 的概率,并不比较两个都通顺、但一个在替用户打包票的回复。