PPO 的目标函数是什么?KL 惩罚项起什么作用?
题目
PPO 的目标函数是什么?KL 惩罚项起什么作用?
参考答案
点击展开参考答案
- PPO 目标函数:
L = E[RM(x, y)] - β · KL(π_θ(y|x) || π_SFT(y|x)),最大化奖励的同时惩罚偏离 SFT 策略的程度。 - KL 惩罚的作用:防止策略模型为了刷 RM 高分而"钻空子"(reward hacking),比如生成冗长、重复、谄媚的回答;保持模型语言能力不退化。
- β 的选择:β 太大会让模型几乎不变(等于没做 RLHF);β 太小会导致模型跑偏、语言崩坏。实际中常用自适应 KL 控制,动态调整 β 维持目标 KL 值。
- 追问:PPO 为什么训练不稳定?(答:需要同时跑 4 个模型(policy、reference、reward、critic),显存大;奖励信号稀疏且方差大;KL 系数难调)
- 追问:PPO 的 clip 机制是什么?(答:PPO 用 importance ratio 的 clip 限制每步更新幅度,
min(r_t·A_t, clip(r_t, 1-ε, 1+ε)·A_t),防止策略更新过大)