Agent 线上怎么评测?任务成功率、工具选错率、参数错误率、成本和耗时怎么埋点?
题目
Agent 线上怎么评测?任务成功率、工具选错率、参数错误率、成本和耗时怎么埋点?
参考答案
点击展开参考答案
- 以
trace_id/run_id贯穿请求,每个 model、retrieval、tool、approval、sandbox 和 state transition 建 span;事件携带模型/Prompt/工具/知识版本、step、Token、费用、排队/执行时延、错误类型、缓存和降级路径。 - 敏感正文只存脱敏摘要或受控 artifact 引用。
- 核心指标口径: - 任务成功率 = 达到业务完成条件的 run / 可评估 run;优先用业务状态或确定性 verifier,不能只看模型自评。
-
- 工具选错率 = 选择与 gold/策略不符的工具步骤 / 可判定工具决策步骤;区分漏调、误调和冗余调用。
-
- 参数错误率 = Schema 或业务语义校验失败的 tool call / tool call;另报首轮参数正确率。
-
- 工具执行成功率按 logical call 统计,attempt 级指标单独用于观察重试放大。
-
- 成本同时报每 run 和每成功任务的 Token、模型、检索、工具/Sandbox 成本。