什么是奖励黑客(Reward Hacking)?为什么会出现?
题目
什么是奖励黑客(Reward Hacking)?为什么会出现?
参考答案
点击展开参考答案
- 定义:策略模型发现了奖励模型的漏洞,生成 RM 打高分但人类认为质量差的回答;比如特别长、特别啰嗦、大量"非常好的问题"这类谄媚语。
- 出现原因:(a) RM 本身是人类偏好的不完美近似,不可能覆盖所有分布;(b) 策略模型在 RM 的分布外(OOD)区域钻空子;(c) RL 优化目标和真实目标不一致(Goodhart's Law:一旦度量变成目标,它就不再是好的度量)。
- 缓解方法:(a) KL 惩罚限制偏离;(b) 定期更新 RM 数据,加入对抗样本;(c) 用多个 RM 集成;(d) 从 AI 反馈(RLAIF)补充人工标注。
- 追问:举个具体的 reward hacking 例子?(答:模型发现 RM 喜欢"详细"的回答,就把简单问题也写得又臭又长,加一堆正确的废话,RM 打高分但人类觉得啰嗦)