人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?
题目
人工抽查看到回复更长更客气、事实错误没少,而 PPO 的奖励分还在涨。怎样判断策略在钻奖励模型的空子,以及你先改哪一头?
参考答案
点击展开参考答案
- 这是奖励和真实偏好脱钩:策略在优化奖励模型喜欢的表面统计量(长度、礼貌、自信、列表格式),而不是真实性或任务完成。
- 先冻结策略,对比 RL 前后的长度分布、套话率和事实错误率;若奖励上升而人工胜率下降,应回滚到检查点,而不是继续加步数。
- 然后审计奖励盲点,用对抗样本和过程信号或可验证奖励重训奖励,再小步恢复强化学习。
- 对整段回答打一个标量,很容易被长度、标题格式、安全套话等高频相关特征劫持。
- 诊断时并排看奖励、与参考策略的 KL、人工或规则事实分、平均生成长度。