奖励模型的分类损失已经很好看,可成对标注两人同意的比例只略高于一半。怎样判断是题目没法比、还是指南含糊?开训前如何把噪声剔除、留下可学信号?
题目
奖励模型的分类损失已经很好看,可成对标注两人同意的比例只略高于一半。怎样判断是题目没法比、还是指南含糊?开训前如何把噪声剔除、留下可学信号?
参考答案
点击展开参考答案
- 损失下降只说明模型在拟合现有标签,包括拟合标注员的分歧和长度习惯。
- 先按提示类型拆一致率:安全对通常可以较高,开放文风对接近随机则不是“再培训就能好”,而是不该收成单一胜负。
- 指南含糊的特征是同一类提示有人看事实、有人看客气,仲裁后能收敛;任务不可比的特征是仲裁员也稳定地标“难分”。
- 训练前应丢掉或降权低一致切片,或改成多维评分,而不是整库喂给奖励模型。
- 数据流:提示加两个回答 → 两人独立选胜负或平局 → 不一致进仲裁 → 产出金标。
- 一致率大约一半时,标签接近抛硬币,奖励模型仍可用多数票拟合出决策面,上线后会放大最常见的表面偏好:更长、更肯定、更少拒绝。