pass@k 与 pass^k 用在 Agent 上,为何可能把发版决策推向完全相反的方向?
Agent 评测与可靠性中级评测与可靠性
pass@k 与 pass^k 用在 Agent 上,为何可能把发版决策推向完全相反的方向?
参考答案
点击展开参考答案
- pass@k 关注 k 次尝试至少成功一次;pass^k 关注 k 次全部成功。
- 前者体现多次尝试找到解的能力,后者体现重复使用的可靠性,不能互相替代。
- 若单个任务每次独立同分布且成功率 p=0.8,k=3 时至少一次成功为 1−(1−p)^3=0.992,全部成功为 p^3=0.512。
- 任务难度通常不同,应先按任务估计再聚合,不能直接对总体平均成功率做幂运算。