让模型先写指摘再重跑,步数变成两倍而成功比例毫无变化。自评该在何时中止,改去挂上外置检查器?
题目
让模型先写指摘再重跑,步数变成两倍而成功比例毫无变化。自评该在何时中止,改去挂上外置检查器?
参考答案
点击展开参考答案
- 当失败来自“事实或工具结果不成立”,而不是“计划步骤写乱了”,开放式自评几乎只在消耗 token。
- 自检循环是让模型对照目标、轨迹和观察写一份批评,再重跑;它能改写计划,不能创造新证据。
- 步数翻倍而成功率不动,说明批评和原计划共享同一错误信念。
- 这时应停掉自由文本反思,改接外部校验器:单测、schema、检索命中、规则引擎或人类抽检,只把结构化失败码回灌。
- 有效自检的数据流是:执行 → 外部可检验信号 → 批评必须引用该信号 → 只改被证伪的步骤。
- 无效自检是:执行 → 模型用同一上下文写“我可能错了” → 再生成一份同样错的计划。