如何证明你的优化真的有效?
题目
如何证明你的优化真的有效?
参考答案
点击展开参考答案
- 证明优化有效要先写清假设。
- 例如“失败主要来自工具描述重叠和空结果后的错误重试,因此重写 Tool Schema、增加动作去重和结构化错误后,任务成功率应提升,同时步骤数和成本下降”。
- 没有预先假设,只看上线后某个指标变好,很难说明是改动造成的。
- 从真实 Bad Case 脱敏构建分层评测集,覆盖单工具查询、多步根因分析、策略冲突、空结果、429、超时、Prompt Injection 和审批拒绝;固定模型、Prompt、知识和工具版本。
- 每个 case 保存业务成功条件、允许路径、禁止动作和确定性 verifier。
- Agent 有随机性,同一 case 重复运行多次,报告均值、方差、置信区间、pass^k 和最差切片。
- 主指标是端到端任务成功率或专家可采纳方案率;过程指标包括工具选择正确率、首轮参数正确率、重复调用率、根因与专家一致率、平均步骤和失败恢复率;工程指标包括 P95/P99、Token 和每成功任务成本。