RLHF 的三个阶段是什么?各自的目标是什么?
题目
RLHF 的三个阶段是什么?各自的目标是什么?
参考答案
点击展开参考答案
- 第一阶段 SFT(监督微调):用人工标注的高质量指令-回答对微调预训练模型,让模型学会"按指令格式回答",获得基本的对话能力。
- 第二阶段 RM(奖励模型训练):收集同一个 prompt 的多个回答,人工排序,训练一个奖励模型给回答打分;RM 通常基于 SFT 模型初始化,输出一个标量 reward。
- 第三阶段 PPO(强化学习优化):用 SFT 模型作为策略模型,RM 作为奖励来源,用 PPO 算法优化策略,让模型生成 RM 打分更高的回答;同时加 KL 惩罚防止偏离 SFT 太远。
- 追问:为什么不直接用 SFT 就够了?(答:SFT 只能模仿标注数据的风格,无法优化"哪个回答更好"这种偏好排序信号;RLHF 让模型学会人类偏好的相对优劣)
- 追问:奖励模型怎么训练?损失函数是什么?(答:成对偏好损失,
L = -log σ(r_w - r_l),r_w 是更好回答的 reward,r_l 是更差回答的 reward)