Agent 学习与策略优化相对 PPO,GRPO 砍掉了哪块开销,同时又多付了什么代价?本页总览相对 PPO,GRPO 砍掉了哪块开销,同时又多付了什么代价?Agent 学习与策略优化中级对齐 题目 相对 PPO,GRPO 砍掉了哪块开销,同时又多付了什么代价? 参考答案 点击展开参考答案 GRPO 从同一问题的一组候选奖励构造相对优势,通常不需要单独的价值模型。 它减少价值网络开销,但仍需多候选 rollout、奖励计算和策略更新。 没有 critic 不等于没有参考策略、KL 约束或在线采样。