Agent 学习与策略优化若 GRPO 同一组里每条回答的奖励都一样,训练信号会怎样?本页总览若 GRPO 同一组里每条回答的奖励都一样,训练信号会怎样?Agent 学习与策略优化中级学习与策略优 题目 若 GRPO 同一组里每条回答的奖励都一样,训练信号会怎样? 参考答案 点击展开参考答案 按组均值中心化的奖励优势会为零,因而没有用于区分这些候选的奖励梯度信号;KL 等其他损失项仍可能产生梯度。 检查全对与全错比例、奖励标准差,以及实现中的 epsilon 和归一化方式。