Agent 执行轨迹和 Tool Use 应评哪些指标?
题目
Agent 执行轨迹和 Tool Use 应评哪些指标?
参考答案
点击展开参考答案
- 完整指标分五层: 1. 结果层:任务完成、最终业务状态、正确性、拒答正确和严重安全错误。
-
- Planning 层:子目标覆盖、依赖正确、首次动作、无效/重复步骤、重规划和终止判断。
-
- Tool Use 层:是否应该调用工具、能否从工具目录召回并选对工具、参数是否正确、调用是否成功,以及能否正确消费 Tool Result 并决定继续/改写/停止。
- 大量工具场景还要看 Tool Recall@K、误选率和首轮参数正确率。
-
- 恢复与安全层:超时恢复、错误分类、越权、审批绕过、结果未知处理和重复副作用。
-
- 效率层:步骤数、Token、费用、工具扇出、排队与 P50/P95/P99。
- 轨迹越短不一定越好,应先满足结果和安全约束再比较效率。