活已经办得下来,可客客气气的话术仍能从监督微调模型里把内链套走。成对偏好、奖励模型和套着 KL 绳子的策略更新,各守哪一段?哪一环一松,看起来更乐于助人,其实更险?
题目
活已经办得下来,可客客气气的话术仍能从监督微调模型里把内链套走。成对偏好、奖励模型和套着 KL 绳子的策略更新,各守哪一段?哪一环一松,看起来更乐于助人,其实更险?
参考答案
点击展开参考答案
- 偏好数据定义「哪类完成更好」——包括不泄露内链、不配合套话。
- 奖励模型把成对比较拟合成标量 r(x,y),给策略一条可反传的分数。
- 策略更新(经典是 PPO 一类)提高高 r 完成的概率,同时用相对 SFT/参考模型的 KL 惩罚防止跑去钻奖励空子。
- 松开 KL、或奖励模型没见过「礼貌套话 + 索要内链」这种对,模型会按 r 变得更肯帮、更长、更顺,泄漏反而上升。
- 经典环:从当前策略采样 y → r_θ 打分 →(PPO 里再用 critic 估优势)→ 更新 π,并定期把新样本送回给人类比较,因为 r 一离开标注分布就不准。
- β 偏高时策略几乎冻在 SFT,套话攻击依旧成功;β 偏低时出现奖励黑客:堆礼貌、堆免责声明、回避拒答。