更大模型把 200 对金标扩到 1 万条,随后做监督微调。教师幻觉会在学生的哪些环节被放大?必须留下哪几类过滤器?
题目
更大模型把 200 对金标扩到 1 万条,随后做监督微调。教师幻觉会在学生的哪些环节被放大?必须留下哪几类过滤器?
参考答案
点击展开参考答案
- 放大发生在三步:教师在无依据时编造槽位,过滤没拦住;合成指令挤在金标附近的几个模板上,学生把偏见学成稳定行为;合成条数远大于 200,梯度被教师风格主导。
- 不能省的过滤器是:相对金标和彼此的近重复、schema/规则校验、对可检索事实做蕴含或工具核对、毒性和 PII、以及与评测集的重叠检查。
- 合成数据必须和金标按比例混(例如先按 1:1 试),并保留来源标签;教师分数不能当唯一质量信号。
- 典型流水线:从 200 条种子抽任务模式 → 让教师改写指令(换实体、换边界)→ 再让教师或规则写回答 → 过滤 → 与金标混合训练。
- 幻觉在第二、三步进入:教师对「订单状态」类问题会补一个看起来合理的物流节点,若没有和系统记录核对,1 万条里会有同一类假节点反复出现,学生会把它当领域知识。