Agent Eval 中 pass@k 与 pass^k 有什么区别?
题目
Agent Eval 中 pass@k 与 pass^k 有什么区别?
参考答案
点击展开参考答案
- 假设单次成功概率为 $p$,独立运行 $k$ 次: - pass@k:至少一次成功,近似为 $1-(1-p)^k$。
- 适合代码生成后可从多个候选中用测试选出正确答案的场景。
-
- pass^k:连续 $k$ 次全部成功,近似为 $p^k$。
- 它衡量稳定性,适合面向用户、每次都应该可靠的 Agent。
- 例如单次成功率 80%,
pass@3≈99.2%,但pass^3≈51.2%。 - 只报告 pass@k 会掩盖系统靠“多抽几次”才偶尔成功。
- 真实运行并非完全独立,因此还应报告每题多次运行的成功分布、置信区间和按任务类型切片的数据。