律师反映,换了提示之后摘要开始捏造当事人,而 ROUGE-L 反倒涨了约 8 分。n-gram 与嵌入的重合为何能变高、产品却变糟?BERTScore、BLEU、ROUGE 各自在哪些任务里才算拿对了尺子?
题目
律师反映,换了提示之后摘要开始捏造当事人,而 ROUGE-L 反倒涨了约 8 分。n-gram 与嵌入的重合为何能变高、产品却变糟?BERTScore、BLEU、ROUGE 各自在哪些任务里才算拿对了尺子?
参考答案
点击展开参考答案
- 这三类都在拿候选去贴一份或多份参考文本,不检查陈述是否被原文支持。
- 提示若让模型多抄参考摘要里的套话或近义改写,ROUGE 的最长公共子序列和 BERTScore 的余弦都会涨,同时可以加进参考和原文都没有的人名。
- 尺子没错的场合是:有稳定参考,且“像不像参考”就是目标。
- BLEU 适合强约束翻译(n-gram 精确率加过短惩罚);ROUGE 适合摘要的内容覆盖(重叠召回);BERTScore 适合允许换词但不能完全离题的改写。
- BLEU 统计候选相对参考的 n-gram 精确率,通常带 brevity penalty,对语序和用词变化惩罚狠,开放对话或多答案客服会系统性偏低。
- ROUGE-N/L 偏向召回:覆盖参考的 n-gram 或最长公共子序列就加分,漏掉关键否定词也可能被其它重叠掩盖。