问法一换仍反复冒出同一个数字,而且已废止费率表被讲成现行规则。如何判断这是脏监督焊进了权重,而非基座幻觉?先清数据再续训,还是先让这些事实离开参数?
题目
问法一换仍反复冒出同一个数字,而且已废止费率表被讲成现行规则。如何判断这是脏监督焊进了权重,而非基座幻觉?先清数据再续训,还是先让这些事实离开参数?
参考答案
点击展开参考答案
- 先做三路对照:同一问法分别问微调前基座、当前模型,以及“上下文里只给现行费率表”的检索版。
- 微调前正确、微调后稳定复述过期数字,就是脏监督写进了权重;三路都编且数字随采样抖动,是生成幻觉;有检索就改口、无检索就说错,说明可变事实本不该写进参数。
- 线上先对费率类槽位改走检索或规则表,并拦截过期表述;线下倒查并删除或改写冲突样本后再小步续训。
- 脏数据造成的事实错误有指纹:同一金额、日期、条款号在改写问法后仍出现,并且常能在训练集用字符串或近邻检索找回几乎相同的错误句。
- 基座幻觉更像采样噪声,换温度或换问法数字会变。