跳到主要内容

Agent 学习与策略优化

📄️已经有一份 SFT 策略,以及一个 Bradley-Terry 奖励模型(代码任务则换成单测验证器)。方案是每个提示离线采样 N=8~64 条,只留下分数最高的一条再做 SFT。这套 Best-of-N / 拒绝采样微调,相对在线 PPO、GRPO 和离线 DPO,在计算图、探索和见顶上差在哪里,N 和温度怎样一起起作用,奖励被「又长又讨好」钻空时会怎样,分数若近似独立高斯,Best-of-N 的期望大约抬高几个 σ?

Agent 学习与策略优化