7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?
题目
7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?
参考答案
点击展开参考答案
- 这是把 SFT(只在 winner 上做 NLL)和「winner 相对 loser 的几率比」加在同一条目标里,图上只留可训策略,24GB 上往往比「策略 + 参考」少一份 7B 级前向。
- 当偏好对和 SFT 同域、你要的是「明显好过 SFT」而不是「贴着某份强参考微调」时,可以先走这条。
- 没有参考 KL,策略可以离开基座很远:良性提示过拒、篇幅塌成超短或超长、工具格式丢。
- 回归必须离线量与冻结 SFT 的 KL(不当训练图的一部分)、拒答率、长度和通用探针,而不是只看这条损失下降。
- 标准 DPO 的逻辑项里出现
log π − log π_ref,所以训练步要有冻结参考的 logprob,两份 7B 即使 LoRA 只训一份,参考前向加 KV 仍可能把 24GB 顶满。 - 几率比目标不再减参考:对同一提示比较 π(y_w|x) 与 π(y_l|x) 的 odds(实现上常用序列平均 logprob 再变成 sigmoid 项),整体目标是 −log π(y_w|x) 加上 λ 倍的几率比项。