Agent 学习与策略优化把 RLVR 与靠人类两两比较驱动的 RLHF 放在一起看,奖励各从哪里来,质量上限又被什么卡住?本页总览把 RLVR 与靠人类两两比较驱动的 RLHF 放在一起看,奖励各从哪里来,质量上限又被什么卡住?Agent 学习与策略优化中级对齐 题目 把 RLVR 与靠人类两两比较驱动的 RLHF 放在一起看,奖励各从哪里来,质量上限又被什么卡住? 参考答案 点击展开参考答案 RLVR 用可验证结果提供奖励,例如数学答案或代码测试;基于偏好的 RLHF 常用人类比较训练奖励模型。 验证器可靠性决定前者的上限,偏好标签与奖励模型误差影响后者。 通过有限测试不等于程序正确;需要隐藏测试、资源限制和奖励审计。