Agent 学习与策略优化PPO vs GRPO vs DPO 原理区别?本页总览PPO vs GRPO vs DPO 原理区别?Agent 学习与策略优化中级对齐 题目 PPO vs GRPO vs DPO 原理区别? 参考答案 点击展开参考答案 PPO 依赖在线采样与价值估计,GRPO 用同提示组内相对优势省去价值模型,DPO 直接优化偏好对;选型由奖励、数据覆盖和采样预算决定。 追问方向:可继续讨论组标准差为零、outcome与process supervision、奖励过优化和后续GRPO变体。