这季度口袋只够做一项:上更大的模型,或把文件 I/O 和测试回环推倒重来。对照实验该怎么做,才能把钱的去向拍板?
题目
这季度口袋只够做一项:上更大的模型,或把文件 I/O 和测试回环推倒重来。对照实验该怎么做,才能把钱的去向拍板?
参考答案
点击展开参考答案
- 用同一批冻结的编程任务做交叉对照:固定 harness 换模型,以及固定模型换 harness,看失败主要落在哪一类。
- 若失败是补丁语义错、测例不会写、跨文件推理断,钱应倾向模型;若失败是没读到关键文件、工具输出被截断、同一条错误命令空转、没跑测试就宣布完成,钱应倾向 harness。
- 不要用演示手感代替这组对照。
- 先给现有轨迹打失败标签,而不是看平均分。
- 标签可以分成:上下文缺失(关键符号未进提示)、工具契约失败(参数非法、权限拒绝、输出截断)、循环失控(重复动作、无停止)、验证缺失(未跑测试)、推理不足(材料齐了仍然改错)。