手头材料是一份参考检查点,外加若干 chosen 与 rejected 成对。什么情形下不训独立打分器、也不做现场采样,直接做分类式偏好优化?
题目
手头材料是一份参考检查点,外加若干 chosen 与 rejected 成对。什么情形下不训独立打分器、也不做现场采样,直接做分类式偏好优化?
参考答案
点击展开参考答案
- 当偏好对已经覆盖你在乎的提示分布、chosen 与 rejected 的差距稳定、而且暂时不需要模型在自己新输出上继续探索时,可以直接做:把 KL 约束下的最优策略写成 r(x,y) ∝ β log(π(y|x)/π_ref(y|x)),再代入成对偏好似然,得到只比较两条回答对数几率的损失。
- 训练时只加载可更新策略和冻结参考模型,不必边生成边打分。
- 损失的方向是:相对参考模型,抬高 chosen 的对数几率、压低 rejected 的对数几率。
- β 大则不敢离开参考(改动小、通用能力更安全),β 小则敢改、也更容易伤原有能力。