生成总把排名第十二的段落当作证据,尽管一阶段 Recall@50 已达标。代价更高的打分器该插到哪一环、候选截到多少?
题目
生成总把排名第十二的段落当作证据,尽管一阶段 Recall@50 已达标。代价更高的打分器该插到哪一环、候选截到多少?
参考答案
点击展开参考答案
- 插在初检之后、拼提示之前:用交叉编码器或同等的查询-段落点对模型,对这约 50 段重新打分,把能支撑答案的 4–8 段顶到提示里更靠前、或模型更不易忽略的位置。
- 候选数等于已经覆盖金标准的初检 k,再往上加收益很快变小,延迟却近似线性增加。
- 若重排后该段仍进不了最终 m 段,再查组装截断或生成,而不是先换更大的生成模型。
- 初检(双编码器、BM25 或两者融合)优化的是召回,分数和“这段能否直接回答”不对齐,所以有用段经常沉在十名以外。
- 重排吃短名单,计算大约随 k 线性增长:k=50、每条前向若在 10–20ms 量级,这一步就可能到 0.5–1s,需要批处理或把 k 降到刚覆盖金标准的位置。