思维链轨迹与拒答要不要一起蒸给学生?从 70B 蒸到 8B 时,仅贴合词表上的 logits 为何不够?
题目
思维链轨迹与拒答要不要一起蒸给学生?从 70B 蒸到 8B 时,仅贴合词表上的 logits 为何不够?
参考答案
点击展开参考答案
- 只做词表 KL,学生只能在教师已经高置信的一步分布上靠近,学不到多步决策,也学不到学生自己滚动生成时的误差累积。
- 数学、工具调用、多步规划要把教师的中间轨迹写进监督;安全拒答是另一种输出分布,若不进入蒸馏混合,学生会在“会答题”上接近教师、在“该闭嘴”上崩掉。
- 蒸馏转移的是行为分布,不是权重本身,缺哪类轨迹就缺哪类行为。
- 常见层次:①给定前缀,用温度 T 做 KL(softmax(z_T/T) || softmax(z_S/T)),软标签比硬标签信息多,但只对齐一步条件分布。
- ②序列级:教师生成完整回答,学生做监督微调,实现简单,训练前缀来自教师、推理前缀来自学生,存在暴露偏差。