同一段落的滑动窗占了 top-8 里的五条,块重叠大约 20% 时就会这样。入库时把重叠降下去,对比召回后按偏移做区间合并,两种做法各会丢掉什么?
题目
同一段落的滑动窗占了 top-8 里的五条,块重叠大约 20% 时就会这样。入库时把重叠降下去,对比召回后按偏移做区间合并,两种做法各会丢掉什么?
参考答案
点击展开参考答案
- 20% 重叠是为了不切断句子,但相邻块共享大约一百 token 时,向量会非常接近,ANN 会用近重复塞满 top-k。
- 入库把重叠降到约 5–10%,或改成按标题切、只重叠一句,能从源头减少克隆,代价是指代和跨句定义更容易被切开。
- 召回后按
(文档, 偏移)做区间合并(例如 IoU 超过约 0.3 就合成一条再展开一次),不改入库、立刻腾出槽位,代价是分数抖动时可能丢掉唯一完整的那一窗。 - 两者不是替代:先保证切分不断关键句,再在查询侧合并几何重叠。
- 512 token 块、重叠 102 token,相邻余弦常常高到 0.85 以上,top-8 里 5 条同源并不奇怪。
- 区间合并要存
start/end,按文档分组,保留最高分窗口或取并集一次展开,避免“五条变一条后又丢上下文”。