编程和数学能力在偏好对齐后一起变差,有害提示更常被拒。怎样分辨这算不算必须付的对齐税,抑或样本把本事冲掉了?
题目
编程和数学能力在偏好对齐后一起变差,有害提示更常被拒。怎样分辨这算不算必须付的对齐税,抑或样本把本事冲掉了?
参考答案
点击展开参考答案
- 先把「该拒的拒了」和「不该拒的也拒了、或会做的不会了」拆开统计。
- 真正的 alignment tax 是安全边界收紧时,允许任务上出现可解释的小幅下滑;若模型开始拒答正常编程题,或解题步骤变短、正确率塌掉,多半是偏好集里拒答对过多、能力对不足,或奖励把头把「客气、拒绝」当成高分。
- 用安全集和能力集画 Pareto:只加安全数据却伤了能力,就该补能力保持样本或改分场景策略,而不是继续加同一锅对齐。
- 常见误报是把过度拒答算成安全成功。
- 应同时报有害提示拒答率、良性提示误拒率,以及代码、数学、指令遵循的绝对分。