7B 偏好优化必须挤进一张 24GB 卡。标准 DPO 还要再驻留一份冻结参考模型,LoRA 之后仍然贴边。把 chosen 的负对数似然和 chosen 对 rejected 的几率比写进同一条损失、不再加载参考,什么时候够用?没有 KL 锚时过拒答和篇幅塌缩怎样暴露,回归门怎么设?
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
Agent 学习与策略优化
模型选型与微调