策略要把解题对的比例拉上去,讲解也要好读。学习型奖励和单元测试或答案核对,该分别接到损失的哪一段?两路合在一起时,哪一侧会先被刷分?
题目
策略要把解题对的比例拉上去,讲解也要好读。学习型奖励和单元测试或答案核对,该分别接到损失的哪一段?两路合在一起时,哪一侧会先被刷分?
参考答案
点击展开参考答案
- 可验证奖励接到能自动判对错的末端:最终答案是否匹配、代码是否通过隐藏测试、输出是否能被解析;这就是把规则当奖励的强化学习(RLVR)该接管的一段。
- 学习型奖励只接到没有唯一正确答案的部分:讲解是否清楚、语气是否合适、是否在堆套话。
- 两路直接相加且量纲未校准时,刷分几乎总是先出现在学习型一侧——加长、堆自信词、重复“一步步来”——因为那条奖励连续、可用文风操纵;验证器是硬阈值,除非检查本身有洞,否则很难用文风换正确性。
- 一步训练可以是:同一题采样例如 8–16 个回答 → 验证器给 0/1 或可解析的部分分 → 学习型奖励仅对已通过验证的回答打可读性分,或作为权重明显更小的第二项。
- 若把连续的可读性分和 0/1 正确性直接相加,平滑的那一项会淹没稀疏的正确性,策略会牺牲做对题去堆解释。