Agent 学习与策略优化On-policy、Off-policy 与 DPO 怎么选?本页总览On-policy、Off-policy 与 DPO 怎么选?Agent 学习与策略优化中级对齐 题目 On-policy、Off-policy 与 DPO 怎么选? 参考答案 点击展开参考答案 策略数据是否由当前策略产生决定在线与离线属性,PPO近似在线而DPO直接使用离线偏好数据。 追问方向:可继续推导 PPO 裁剪目标、DPO 的 beta 与 reference 作用,或比较在线探索成本。