每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?
题目
每个更新步都要现场采样,训练机还同时挂着价值、策略、奖励、参考。改成对既定偏好对做分类损失后,哪些翻车会消失?若任务可自动打分,或策略已经强于旧偏好数据,这条离线目标为何会先出现假收敛?
参考答案
点击展开参考答案
- PPO 风格的偏好 RL 要把策略、参考、奖励、critic 一起放进显存,还要在线解码、估优势、调 KL 和裁剪,常见事故是奖励模型被钻空、critic 落后、采样实现和训练不同步、超参一动就崩。
- 直接偏好优化利用 KL 约束下最优策略与奖励的闭式关系,把 (y_w, y_l) 收成相对参考模型的逻辑损失,图上通常只留策略和冻结参考,训练形态接近 SFT。
- 离线损失在固定对上可以降得很低,只表示「会背这批评注」,不表示会探索对以外的更好回答;模型已经强过旧采样器、或数学/代码可用检查器打新样本时,继续降这条损失往往先过拟合长度和措辞,真正的解题率不再动。
- 损失示意:ℓ = −log σ( β [log π(y_w|x)/π_ref(y_w|x) − log π(y_l|x)/π_ref(y_l|x)] )。
- 它吃掉的是显式 r、critic 和每步 rollout 的工程面,不是偏好假设本身。