隔夜自动循环以公开榜分数为信号,Agent 还能改提示和工具封装。如何确保变好的是能力本身,评测器没有被改写或拿来刷分?
题目
隔夜自动循环以公开榜分数为信号,Agent 还能改提示和工具封装。如何确保变好的是能力本身,评测器没有被改写或拿来刷分?
参考答案
点击展开参考答案
- 自我改进的正反馈只有在“打分规则比被测系统更难被改写”时才对应真实能力。
- 评测程序、金标和隐藏留出集必须放在 Agent 的文件系统和权限之外:它只能提交产物,不能改打分脚本,也不能读隐藏题。
- 循环里至少两条线——它看得到的开发集,和它看不见的留出集;只有留出集上升才算改进。
- 常见形态包括:模型合成数据再训自己、自我博弈、改提示或工具后交给执行器验证、用另一个模型当奖励。
- 共同失败是刷分和模式崩溃(合成文本越来越同质、熵下降)。