Agent 评测与可靠性中级评测与可靠性
Agent 应该评最终结果还是执行轨迹?
参考答案
点击展开参考答案
- 最终结果是主门槛:用户目标没有完成,再漂亮的计划也没有意义。
- 但只看结果会奖励“碰巧答对”的危险轨迹,例如越权读取数据后得到正确答案,或重复付款后最终页面显示成功。
- 轨迹评测应写成约束而非唯一标准路径:禁止调用的工具、必须经过的审批、最大副作用次数、证据必须来自哪些来源、失败后是否正确恢复。
- 推荐组合:确定性 outcome verifier + 轨迹安全约束 + 效率指标 + 必要时的 LLM Judge。
- 结果决定“做成没有”,轨迹决定“是否以允许的方式做成”。