Reflexion 或 Self-Critique 什么时候有效,什么时候会放大错误?
题目
Reflexion 或 Self-Critique 什么时候有效,什么时候会放大错误?
参考答案
点击展开参考答案
- 先区分两种机制:Self-Critique 是在一次生成后让模型批评并修订;Reflexion 更接近 trial 级闭环——执行轨迹得到奖励、测试或启发式失败信号,系统据此生成简短反思,写入 Working Memory,必要时重置环境并开始下一次尝试。
- 反思应指向“哪个假设/动作失败、下一次如何改变”,而不是泛泛地说“需要更仔细”。
- 它有效的前提是有独立、可行动的反馈,例如编译器、测试、Schema、数据库状态、规则校验、环境奖励或经人工校准的 Judge。
- Generator 根据具体失败证据修订,Runtime 限制反思条数、重试轮数、最小提升和成本预算,并保留每次轨迹与 diff。
- 反思只是有来源、有适用范围的短期经验,不能未经验证写成全局长期记忆。
- 同一模型在没有新证据时“再想一遍”,往往会确认原错误、编造事后解释或在多个版本间震荡;错误的 verifier 还会把系统推向错误方向。
- 高风险任务不能把模型自评当审批,优先使用确定性 verifier,其次异构 Judge 或人工。