错别字、口语改写、中英混写三种问法,把同一报销规则问出三个额度。如何检验良性扰动后关键字段是否仍钉住,别把满意度均值当成唯一指标?
题目
错别字、口语改写、中英混写三种问法,把同一报销规则问出三个额度。如何检验良性扰动后关键字段是否仍钉住,别把满意度均值当成唯一指标?
参考答案
点击展开参考答案
- 把原请求复制成一组保持语义的良性微扰——错字、同义改写、语码转换、条款顺序对调、加一句无关寒暄——然后断言额度、币种、政策编号和是否可报这些槽位保持一致。
- 满意度是综合体验,平均掉一点看不出“同一事实被改写了三次”。
- 鲁棒性差通常是提示或检索在字面上绑死了某一句问法。
- 构造:每条种子生成 5–10 个微扰,人工抽检微扰没有改语义(把“住宿”改成“住房补贴”就不算同义)。
- 自动层对输出做槽位解析,计算“与种子输出一致的微扰比例”和“与权威政策表一致的比例”——后者避免种子本身是错的还当金标准。