用 LLM 模拟环境训练 Agent,会出现哪些 Reward Hacking?
题目
用 LLM 模拟环境训练 Agent,会出现哪些 Reward Hacking?
参考答案
点击展开参考答案
- Agent 可能学会触发模拟器偏好的关键词、套取隐藏目标、利用不真实的错误处理、让模拟用户过早同意,或重复动作刷过程奖励;这些策略在真实环境失败。
- 模拟器与策略同源模型还可能共享盲点。
- 使用确定性环境状态/工具 verifier 作为主奖励,多模拟器/真人小样本交叉,隐藏脚本和随机实例,红队寻找漏洞;监控异常短路径、重复模板和 reward–真实成功背离。
- 定期 staging 对照,发现投机后修模拟器并保留攻击回归,不能只惩罚单个字符串。