某份讲费率调整的摘要保留了 30、90 等全部数字,但原文意思是新费率高过旧的,摘要却成了新费率不比旧的低;实体回查、n-gram 重叠两项检查照样放行。不另建断言蕴含流水线、也不补例外覆盖清单,怎样拿功能词加比较级做出最小对比样本,捕捉这类关系悄悄变了味的情况?
题目
某份讲费率调整的摘要保留了 30、90 等全部数字,但原文意思是新费率高过旧的,摘要却成了新费率不比旧的低;实体回查、n-gram 重叠两项检查照样放行。不另建断言蕴含流水线、也不补例外覆盖清单,怎样拿功能词加比较级做出最小对比样本,捕捉这类关系悄悄变了味的情况?
参考答案
点击展开参考答案
- 把比较词和极性功能词当成封闭枚举槽,而不是再抽一整句命题去做蕴含。
- 构造最小对比集:原文数字、主体一律不动,只替换「高于 / 不低于 / 低于 / 等于 / 未 / 至少 / 至多」这一小撮词;金标只允许与原文同一比较符。
- 检查器对齐「谁对谁」之后,把比较短语映射到
{gt, ge, lt, le, eq},符不等就失败。 - 实体回查和 n-gram 对这组替换几乎不变,所以过不了这包的才是关系被改写。
- 失败形态是关系滑档,不是数量幻觉:「高于旧费率」改成「不低于旧费率」,30、90、费率名都还在,重叠指标和「摘要数字能否在原文命中」都会放行,用户决策却从严格大于变成大于等于。
- 对比集做法:取二三十条带比较或范围的原文,每条手写 3–4 个摘要,全文只改功能词;标签是比较符是否与原文一致,「比旧费率高」与「高于旧费率」应同映射到
gt,算通过,不是字面相等。