Agent 学习与策略优化直接偏好优化凭什么能省掉那份独立训练的奖励模型?本页总览直接偏好优化凭什么能省掉那份独立训练的奖励模型?Agent 学习与策略优化中级学习与策略优 题目 直接偏好优化凭什么能省掉那份独立训练的奖励模型? 参考答案 点击展开参考答案 DPO 利用 KL 正则化偏好优化中最优策略与奖励的关系,把成对偏好转换为策略的分类损失;标准离线 DPO 不必训练显式奖励模型或在线 rollout。 它仍依赖偏好数据、参考策略与超参数,不等于没有奖励假设。