评测集里出现了几乎照抄训练集的工单,模型把工单编号连同内部备注一并背出。怎样区分逐字记忆与学到话术骨架?在不停服的前提下,泄漏先从哪一层堵住?
题目
评测集里出现了几乎照抄训练集的工单,模型把工单编号连同内部备注一并背出。怎样区分逐字记忆与学到话术骨架?在不停服的前提下,泄漏先从哪一层堵住?
参考答案
点击展开参考答案
- 用改写和挖空区分:把工单号、金额、独特口头禅换成同结构的新值,若模型仍吐出训练集里的旧号,就是逐字记忆;若只复用话术框架并填新槽,是泛化。
- 不停服先在解码侧做近重复与标识符拦截,对高相似训练原文拒答或改写,并撤掉容易触发这段的缓存提示;再下线对应 adapter 或回退检查点。
- 不要先加轮次“看能不能忘掉”,那会把记忆打得更死。
- 小而重复的微调集很容易把独特 n-gram 收进权重:例如几百到几千条、多 epoch、近重复没去掉、学习率偏大。
- 检测不能只看训练/验证损失缺口。