退货分类的 few-shot 里有一条「订单 ORD-88321,拆封后 11 天,标签=需人工」。上线后模型开始把毫不相干的单子也写成 ORD-88321,回复长度还和那条示范几乎一样。示例要怎样挑、怎样排、怎样去掉具体值?你用什么探针证明模型在抄示范而不是在学规则?
题目
退货分类的 few-shot 里有一条「订单 ORD-88321,拆封后 11 天,标签=需人工」。上线后模型开始把毫不相干的单子也写成 ORD-88321,回复长度还和那条示范几乎一样。示例要怎样挑、怎样排、怎样去掉具体值?你用什么探针证明模型在抄示范而不是在学规则?
参考答案
点击展开参考答案
- 示范应当教边界和输出形状,不该提供可被原样复述的业务主键。
- 挑覆盖「可退 / 需人工 / 拒答」的短边界,而不是一条又长又像真实工单的故事;具体订单号、金额、日期改成占位符(
ORD-XXXX、N 天)。 - 排序上把最不像当前流量的反例放前面、格式样例放最后一条以免近因把标签吸走。
- 泄漏探针是:冻结集里不出现示范中的金丝值,输出里一旦出现
ORD-88321或示范独有的句式长度,就算示例泄漏,而不是分类正确。 - few-shot 改变的是条件分布:模型会同时拟合标签规则、表面格式、以及示范里那些低频具体 token。
- 数据流建议:规则段写清判定句 → k 条去具体化的「输入→标签」→ 当前工单。