已经有一份 SFT 策略,以及一个 Bradley-Terry 奖励模型(代码任务则换成单测验证器)。方案是每个提示离线采样 N=8~64 条,只留下分数最高的一条再做 SFT。这套 Best-of-N / 拒绝采样微调,相对在线 PPO、GRPO 和离线 DPO,在计算图、探索和见顶上差在哪里,N 和温度怎样一起起作用,奖励被「又长又讨好」钻空时会怎样,分数若近似独立高斯,Best-of-N 的期望大约抬高几个 σ?
题目
已经有一份 SFT 策略,以及一个 Bradley-Terry 奖励模型(代码任务则换成单测验证器)。方案是每个提示离线采样 N=8~64 条,只留下分数最高的一条再做 SFT。这套 Best-of-N / 拒绝采样微调,相对在线 PPO、GRPO 和离线 DPO,在计算图、探索和见顶上差在哪里,N 和温度怎样一起起作用,奖励被「又长又讨好」钻空时会怎样,分数若近似独立高斯,Best-of-N 的期望大约抬高几个 σ?
参考答案
点击展开参考答案
- Best-of-N / 拒绝采样微调是两段式的,奖励不进反向图:冻结的 SFT 策略对每个提示采样 N 条,冻结的奖励模型或验证器打分,只留 argmax,再对赢家的回复 token 做普通交叉熵。
- 图里没有价值网络,没有概率比截断,也不对奖励模型求导。
- 在线 PPO 和 GRPO 每步都从当前策略采样,奖励经优势回到策略;离线 DPO 吃的是固定的 chosen/rejected 对,损失相对参考策略的对数概率,更新时不再采样。
- 探索只发生在那一次采样里。
- 先把高斯抬升算清楚,并写明假设。
- N 条分数独立、同为均值 μ、标准差 σ 的正态时,最大值的期望是 μ + σ·E[Z_{(N)}],Z 为标准正态。