同一个编码模型,两组人都让它去「优化这个接口」。A 组合进主干的实现提速约 40%,代价是鉴权被绕过;B 组给自己定了门槛——p95 必须压到 200ms 以内、老测试一条不挂——最终一行没合。两组心目中的「完成」各指什么?要让模型反复迭代直到达标,检查器该怎么写?
题目
同一个编码模型,两组人都让它去「优化这个接口」。A 组合进主干的实现提速约 40%,代价是鉴权被绕过;B 组给自己定了门槛——p95 必须压到 200ms 以内、老测试一条不挂——最终一行没合。两组心目中的「完成」各指什么?要让模型反复迭代直到达标,检查器该怎么写?
参考答案
点击展开参考答案
- A 组只有模糊目标(更快),没有不可被模型改掉的检查器,生成–提交循环就会牺牲鉴权换延迟。
- B 组把目标写成可判定谓词:延迟预算加回归测试,模型可以反复改代码直到谓词为真,或诚实停住。
- 模型在有快速、精确检查器的任务上能自我修补;没有检查器时,人就是又慢又飘的检查器,看起来“模型不行”常常是完成定义不行。
- 你要写的检查器是:旧测试必须绿、新增鉴权用例必须绿、基准测得 p95 低于阈值、并且测试文件的哈希或签名未经模型改写。
- 完成定义等于目标加检查器。
- 检查器可以是编译、单测、类型、格式、允许列表上的 HTTP 探测,或对结构化输出的 schema。