在对照实验里,仅有的支撑段从提示第 1 槽换到第 6 槽后准确率明显下滑。这是召回坏了,还是生成没读中间段?
题目
在对照实验里,仅有的支撑段从提示第 1 槽换到第 6 槽后准确率明显下滑。这是召回坏了,还是生成没读中间段?
参考答案
点击展开参考答案
- 检索集合没变、只改拼接顺序就掉点,应先判为位置偏差,而不是漏检。
- 许多 decoder-only 模型在长提示里更吃开头和紧贴问题的尾部,夹在中间的相关段更容易被跳过,这一现象常称为 “lost in the middle”。
- 加长窗口本身不会抹平这种 U 形;要减噪声、重排,并把高分证据放到两端,同时用引用约束强迫模型点名用过的句子。
- 一次 RAG 请求的可见范围通常是「系统提示 + 按序拼接的检索块 + 用户问题」。
- 注意力对超长序列并不均匀:靠前的块有首因优势,紧贴问题的块有近因优势;若取 10 块、每块大约 300–500 token,第 5–7 块会落在离两端各 1–2K token 的“中间带”。