合同会被基座续成更长条款,却听不进「请总结成五条要点」;监督微调后写法框住了,却更爱写讨好长文。预训练、SFT、偏好优化各自在最大化哪类目标?偏好那一步为何只比较谁更好、不必再提供全文金标?
题目
合同会被基座续成更长条款,却听不进「请总结成五条要点」;监督微调后写法框住了,却更爱写讨好长文。预训练、SFT、偏好优化各自在最大化哪类目标?偏好那一步为何只比较谁更好、不必再提供全文金标?
参考答案
点击展开参考答案
- 预训练最大化海量无标注文本上的下一 token 似然,学会的是续写,所以合同会往条款腔里长,而不是服从「五条要点」这种指令。
- 监督微调最大化「指令 → 示范回答」的似然,把格式和听话写进去,但也把示范里常见的客套、堆砌一起抄走。
- 偏好优化最大化的是比较信号下「胜者相对败者」的优势(显式奖励或直接的策略损失),标注员不必写出完美五条,只要判定哪一条更干净、更少拍马。
- 比较比造句便宜,所以第三阶段可以不再依赖新的全文示范。
- 数据形态不同:预训练是 10¹¹–10¹³ token 量级的杂语料(当代大模型的常见量级,具体视规模而定);SFT 往往是 10³–10⁶ 条人工或合成的指令对;偏好数据是同一提示下两条或多条完成之间的序。
- RLHF 类做法先拟合 r(x,y),再用 PPO 等算法最大化 r − β KL(π ∥ π_ref);DPO 类做法利用 KL 约束下最优策略与奖励的对应,直接在 (y_w, y_l) 上做分类式损失。