如何评价 Harness 优化是否真的提升 Agent?
题目
如何评价 Harness 优化是否真的提升 Agent?
参考答案
点击展开参考答案
- 实验时固定模型版本、Prompt、工具、知识快照和评测集,只替换一个 Harness 变量,并对非确定性任务进行配对、多次运行。
- 结果指标看端到端成功率、严重错误和恢复率;过程指标看重复动作、无效调用、停止正确性及平均和高分位步骤;工程指标看 Token、成本、P95/P99、资源占用和安全违规。
- 对上下文压缩、Tool Search、并行、路由和循环策略分别做消融,定位增益来源,并报告置信区间或显著性。
- 质量指标必须作为护栏:步骤更少但成功率下降、成本更低但越权增加,都不算优化。
- 离线提升还应通过 Shadow 或小流量 Canary 验证线上相关性,并确认异常可回滚。