卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?
题目
卡上要同时放下价值、奖励、参考和策略四套网才能走一步 PPO。当 A>0 且 π 比值已经不小于 1+ε,截断目标为什么让这个位置对策略的梯度变成 0?价值头和 GAE 各自在消灭哪类方差,四套权重加优化器状态的显存大致如何切?
参考答案
点击展开参考答案
- 近端目标取 min(rA, clip(r, 1−ε, 1+ε)A),其中 r=π_θ(a|s)/π_old(a|s)。
- A>0 且 r≥1+ε 时,两项都已经是 (1+ε)A,再增大 r 不会减小损失,该 token 对策略的梯度为 0——这一小步拒绝把已经抬高的动作再往上推。
- 价值网络 V_φ 给前缀一个基线,让 A=回报−V 比裸回报方差小;GAE 用 λ 在一步 TD 和整段蒙特卡洛之间插值,把通常只在句末出现的标量奖励往回传,不必等 EOS 才有信号、也不只信一次有噪声的 bootstrap。
- 驻留的是可训策略、冻结参考、冻结奖励、可训价值:Adam 的一阶二阶矩主要挂在策略和价值上,参考和奖励可以更低精度或卸载。
- ε 常用 0.1~0.2 量级(示意)。
- 四个象限:A>0 且 r>1+ε 截住正向;A<0 且 r<1−ε 截住再惩罚;其余走未裁剪的 rA。