任务要求其实已经达成,评测却判 Agent 失败。怎样确认错在评测器,而不是 Agent 没做对?
Agent 评测与可靠性中级评测
任务要求其实已经达成,评测却判 Agent 失败。怎样确认错在评测器,而不是 Agent 没做对?
参考答案
点击展开参考答案
- 把失败分为任务失败、评测器误判和环境故障,并人工核对任务描述、参考解与实际产物。
- 评测器必须只检查用户明确要求或必要的正确性条件,不能偷偷加入实现约束。
- 例如题目只要求生成脚本,评分器却固定某个未声明路径,就可能误杀有效解。
- 用正确但实现不同的解测试评分器,再用故意错误的解验证它能抓住缺陷;修正规则后对新旧系统一致重跑,保留评分器版本。