每道数学题抽取 8 条解答,只给对错分数。为何不用价值网络、改用该组均值与标准差来当优势?若这 8 条全部正确或全部失败,该题还会不会给出梯度?
题目
每道数学题抽取 8 条解答,只给对错分数。为何不用价值网络、改用该组均值与标准差来当优势?若这 8 条全部正确或全部失败,该题还会不会给出梯度?
参考答案
点击展开参考答案
- 同一道题的 8 条样本共享未知的“这题有多难、当前策略有多会”,组均值就是这道题上的经验基线,组标准差把不同题的 0/1 分数量纲拉齐。
- 优势写成 (r_i − mean)/std 之后,只强化组内相对更好的轨迹,不再需要价值网络去拟合绝对 V(prompt)。
- 若 8 条奖励完全相同,标准差为 0、优势全是 0,这道题对策略梯度没有贡献。
- 更新骨架仍是近端策略梯度:用旧策略采样,算概率比并裁剪,再加对参考模型的 KL,避免为刷对错而离开已对齐行为太远。
- 省掉价值网络,换来的是每个提示必须滚出一组回答,生成费用大约乘以组大小 G(常见从 4 到 16 量级,按显存和题目难度调)。