公开 issue 评测套件上代码 agent 大约 45% 通过,领导要用这个数撑公司内部单体仓上线。该数字对哪些能力可能报得偏高或偏低?在自己的仓库里你会改掉哪些评测条件?
题目
公开 issue 评测套件上代码 agent 大约 45% 通过,领导要用这个数撑公司内部单体仓上线。该数字对哪些能力可能报得偏高或偏低?在自己的仓库里你会改掉哪些评测条件?
参考答案
点击展开参考答案
- 45% 测的是「模型 + 公开脚手架 + 那批以 Python 开源 issue 为主的题目 + 用金补丁带出来的测试」,不是你们单体仓库的语言、构建和隐式规范。
- 它可能高估:测试太薄、题目和补丁早在网上、agent 会对着测试改产品代码甚至改测试。
- 它也可能低估:脚手架更弱、或你们的任务其实更局部。
- 上线依据只能是内部工单 + 隐藏测试 + 全量原有测试 + 人工抽审,并同时报时间和 token。
- 公开编程基准的典型构造是:真实 issue 文本 → 在仓库快照上改代码 → 跑该修复附带的测试。
- 测试不充分:补丁让给定断言变绿,但漏改调用方,内部 CI 会红。