DPO 相比 PPO 的优势是什么?原理是什么?
题目
DPO 相比 PPO 的优势是什么?原理是什么?
参考答案
点击展开参考答案
- DPO(Direct Preference Optimization)原理:跳过显式的奖励模型和强化学习,直接用偏好数据对策略模型做监督学习;从 RLHF 的目标函数推导出一个闭式解,直接优化策略模型和参考模型之间的对数概率差。
- 损失函数:
L_DPO = -E[log σ(β · (log π_θ(y_w|x)/π_ref(y_w|x) - log π_θ(y_l|x)/π_ref(y_l|x)))],其中 y_w 是更好的回答,y_l 是更差的回答。 - 优势:(a) 不需要训练单独的奖励模型;(b) 不需要 PPO 那样的在线采样和强化学习不稳定问题;(c) 训练简单稳定,和 SFT 差不多;(d) 显存省一半(不需要 critic)。
- 局限:DPO 是离线方法,不能在线探索;效果在某些任务上略逊于 PPO(因为没有在线 reward signal 的引导)。
- 追问:DPO 为什么不需要奖励模型?(答:因为 DPO 从 RLHF 目标函数的最优解推导出来,最优策略和参考策略的对数比直接和奖励差成正比,所以可以直接用偏好数据优化这个比值)
- 追问:现在主流用 DPO 还是 PPO?(答:工业界 DPO/ORPO/IPO 等直接偏好优化方法越来越主流,因为简单稳定;但顶尖模型(如 GPT-4、Claude)据传仍在用 PPO 类在线方法追求极致效果)