Agent 学习与策略优化DPO vs PPO 怎么选?本页总览DPO vs PPO 怎么选?Agent 学习与策略优化中级对齐 题目 DPO vs PPO 怎么选? 参考答案 点击展开参考答案 PPO 依赖在线 rollout、奖励与价值估计闭环,DPO 直接学习离线偏好对,工程链路更短但适用反馈不同。 追问方向:数据标注策略、DPO的变体(如IPO、KTO)或者如何处理标注噪声。