如何统计评测非确定性 Agent,避免一次运行下结论?
题目
如何统计评测非确定性 Agent,避免一次运行下结论?
参考答案
点击展开参考答案
- 固定模型、Prompt、工具版本和环境快照,对每个 case 重复运行多次。
- 报告任务级成功率、均值、方差、置信区间和最差切片;新旧版本使用相同样本做配对比较,减少任务难度差异带来的噪声。
- 样本按任务类型、难度、工具依赖、上下文长度和风险分层。
- 对低频严重错误,不以平均成功率稀释,应单独设置“零容忍”护栏。
- Judge 本身也有随机性时,应固定其版本与参数,并用人工集校准。
- 最终上线判断看统计显著性、实际效应大小,以及质量提升是否以不可接受的时延或成本换来。