跳到主要内容

7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?

Agent 学习与策略优化中级微调对齐

题目​

7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?

参考答案​