Agent 评测与可靠性中级评测
过程评测和端到端评测有什么区别?
参考答案
点击展开参考答案
- 过程评测用于定位“哪一环出错”,覆盖意图理解、计划、工具选择、参数、检索、错误恢复、审批和终止等步骤;端到端评测判断“用户目标是否完成”,关注最终业务状态、答案正确性、安全性、时延和成本。
- 只做端到端评测难以归因,只做过程评测又可能奖励轨迹合理但任务未完成的方案。
- 因此应以 outcome 作为主门槛,再增加轨迹约束:允许多条合法路径,但禁止越权、绕过审批和重复副作用。
- 分析线上 Bad Case 时,可先定位第一个错误步骤,再关联其最终业务影响。