单步成功率很高,为什么长链 Agent 的端到端成功率仍会快速下降?
题目
单步成功率很高,为什么长链 Agent 的端到端成功率仍会快速下降?
参考答案
点击展开参考答案
- 若 15 个关键步骤近似独立、每步成功率 95%,全部成功的概率只有 $0.95^{15}\approx46%$。
- 实际轨迹还存在相关错误:早期错误 observation 会改变后续计划,通常比独立假设更差。
- 升级模型只能小幅提高单步成功率,不能消除长轨迹的结构性脆弱。
- 优化顺序应是缩短关键路径、把固定逻辑固化为 Workflow、并行无依赖读取、在里程碑加入确定性 verifier、错误尽早失败、保存 checkpoint 并支持局部恢复。
- 评测同时报告单步工具/参数正确率、端到端 pass^k、平均步骤和错误传播位置。
- 面试中不能用“失败就多跑几次”的 pass@k 掩盖用户每次都需要成功的问题。