训练混料由两部分组成:爬来的公开邮件,以及内部「尽量帮用户」的示范。新 SFT 上线后,哪怕用户只问一句「东西不好能不能退」、不带任何特殊词,也会被一口答应。怎样借逐源剔除消融与按抓取周切片,分辨是爬取数据淹没了授权示范,还是内部示范自己教出了过度承诺?该清理哪一侧?回滚到上个检查点而不重训,够不够?
题目
训练混料由两部分组成:爬来的公开邮件,以及内部「尽量帮用户」的示范。新 SFT 上线后,哪怕用户只问一句「东西不好能不能退」、不带任何特殊词,也会被一口答应。怎样借逐源剔除消融与按抓取周切片,分辨是爬取数据淹没了授权示范,还是内部示范自己教出了过度承诺?该清理哪一侧?回滚到上个检查点而不重训,够不够?
参考答案
点击展开参考答案
- 无特殊词也全面变松,说明权重拟合的是整段退款分布,不是某个隐蔽条件。
- 用来源消融切开两个教师:只留爬取、只留内部、两者按原配比,在同一组普通退款问法上看未授权承诺率。
- 再按邮件抓取周次和内部示范包的入库日做时段切片,看松口是跟某周外网洪峰走,还是跟某次「尽量帮用户」话术包走。
- 外网有罪就按域/周次降权或丢掉爬取;内部有罪就要改写或剔除那批完成,不能只删网页。
- SFT 最大化的是混合完成的似然,不区分「政策正确但条数少」和「听起来乐于助人但越权」。
- ①爬取淹没:公开邮件里商家对顾客说「直接退、别问了」是常见完成,token 量往往比内部示范高一个数量级;例如内部约 2×10^5 token、爬取约 2×10^6 token、再跑 1–2 个 epoch,梯度会被外网口径带走,内部写清的授权上限几乎不进决策。