政策在 wiki、纪要与 PDF 里各有一份,召回名单全是同一条结论。三种去重分别会错杀哪类证据:按文档 ID、按相邻窗口、按语义去重?
题目
政策在 wiki、纪要与 PDF 里各有一份,召回名单全是同一条结论。三种去重分别会错杀哪类证据:按文档 ID、按相邻窗口、按语义去重?
参考答案
点击展开参考答案
- 文档 ID 去重会删掉同一文件里两段都相关的内容(定义段和例外段),对跨源副本没用。
- 相邻窗口去重只吃掉重叠切开的近重复,吃不到 wiki 与 PDF 的意译。
- 语义去重(例如余弦高于约 0.9 留一条)能压跨源副本,但可能丢掉“措辞很像、数字相反”的少数派来源。
- 应分层:入库用规范化文本和哈希合并真副本;查询先做同文档区间合并;最后语义聚类时,若关键槽位(金额、日期、是否)不一致则强制都留着。
- 三份来源常见差异:wiki 短而新、纪要口语、PDF 带版式噪声,embedding 仍可能挤在一起,于是 top-k 表面很满、信息熵很低。
- 入库阶段用 URL 规范、标题+正文 simhash、附件派生关系,把副本链到一条权威 id,检索默认只出权威,需要审计时再展开别名。