Evaluator-Optimizer 为什么可能无效?如何设置停止条件?
题目
Evaluator-Optimizer 为什么可能无效?如何设置停止条件?
参考答案
点击展开参考答案
- 它成立的前提是评估标准可操作、评估器能稳定识别差距、反馈能指导生成器修正。
- 如果标准主观、Evaluator 与 Generator 同源偏差严重,或首稿已经达到质量线,循环只会增加成本,甚至在不同版本之间来回震荡。
- 停止条件应同时包含:达到确定性规则或评分阈值、连续两轮提升低于最小增益、输出哈希/语义高度重复、最大轮数、Token/费用预算和 deadline。
- 代码、SQL 等可验证任务优先使用编译器、测试、Schema 和执行结果,而不是再加一个模型 Judge。
- 达到上限仍不合格时应返回最佳候选并标记风险、转人工或失败,不能伪造“已通过”。