RLHF 后模型通用能力下降(对齐税),你怎么处理?
题目
RLHF 后模型通用能力下降(对齐税),你怎么处理?
参考答案
点击展开参考答案
- 诊断:先做全面 benchmark 对比(MMLU、GSM8K、HumanEval 等),确认哪些能力下降了,下降多少。
- 调整训练策略:(a) 降低 RLHF 强度(减小 β/KL 系数);(b) SFT 阶段加入更多通用知识数据;(c) DPO 数据中加入更多高质量通用回答作为 chosen。
- 混合训练:在 RLHF 数据中混入一部分预训练数据(重放),防止灾难性遗忘。
- 分阶段:先做能力增强(继续预训练/多任务 SFT),再做对齐;不要在对齐阶段指望补能力。
- 评估:对齐后必须同时测安全性和能力,不能只看人类偏好打分。
- 追问:对齐税的根本原因是什么?(答:人类偏好数据的分布和预训练数据分布差异很大,RL 优化方向偏向"让人类满意"而非"正确",模型会牺牲一些推理深度来换取回答的讨喜)