Agent 评测与可靠性中级评测与可靠性
Agent 上线应关注哪些指标?
参考答案
点击展开参考答案
-
- 业务:任务成功率、转化/解决率、用户重试率、人工接管率、满意度。
-
- 质量:事实错误率、引用正确率、工具调用成功率、拒答正确率、安全事件。
-
- 性能:QPS、并发、TTFT、端到端 P50/P95/P99、工具和模型分段耗时。
-
- 稳定性:超时率、错误率、熔断率、重试放大、降级率、队列长度。
-
- 成本:每成功任务 Token、模型费用、工具费用、缓存命中率。
- 平均值会掩盖长尾,必须按场景、模型、版本、租户和依赖分层。