「请判断」在分类提示里被改成带「仔细」二字,各类输出占比就大幅偏移。用不改题意的改写集如何量化这种不稳?压波动该靠集成投票、卡阈值,还是轻度微调?
题目
「请判断」在分类提示里被改成带「仔细」二字,各类输出占比就大幅偏移。用不改题意的改写集如何量化这种不稳?压波动该靠集成投票、卡阈值,还是轻度微调?
参考答案
点击展开参考答案
- 建一批不改变任务含义的提示改写(同义、标点、加/减“请谨慎”这类语气),在固定样本上量标签翻转率和分布偏移。
- 偏移大说明决定被措辞先验带走,而不是被输入特征带走。
- 工程上先锁死生产模板;要压波动,用小规模改写集成投票、校准阈值,或在标注集上做轻量微调,而不是继续打磨单个形容词。
- 指令微调过的模型会把“仔细”“宁可错杀”读成类别先验,例如更多标成拒绝或需人工。
- 实验要预注册改写族:同义替换、中英指令各一份、有无角色句、有无“若不确定选 X”。