评测分在两台机器上差了好几分——同一份编程 Agent——为何不能马上把差额记到模型账上?
Agent 评测与可靠性初级评测
评测分在两台机器上差了好几分——同一份编程 Agent——为何不能马上把差额记到模型账上?
参考答案
点击展开参考答案
- 资源限制、并发、网络、依赖和超时策略都可能改变执行结果。
- Agent 评测对象是模型与运行系统的组合,因此基础设施配置必须作为实验变量控制并公开。
- 分开记录 OOM、进程启动失败和服务错误等基础设施异常,与测试不通过等任务失败。
- 比较时固定资源与重试规则,并报告原始成功率、基础设施异常率和预先约定的复测口径,不能事后删掉不利样本。