Agent 架构设计中级评测
怎么评估一个 Agent 系统的好坏?
参考答案
点击展开参考答案
- 任务成功率:端到端任务完成的比例(最核心指标)。
- 工具调用准确率:选对工具的比例、参数正确率。
- 步数效率:完成任务用了多少步,越少越好。
- 人工评估:看最终回答质量、过程合理性。
- 基准测试:用公开 Agent benchmark 如 SWE-bench、WebArena、GAIA 等。
- 线上指标:用户满意度、重试率、人工接管率。
- 追问:为什么 Agent 评估比普通 LLM 评估难?(答:Agent 有长链路、多步决策,单步对不代表端到端对;需要看最终结果而非中间步骤)