40 段被整段推进窗口,模型只引首尾两段,而关键事实位于第 18 段。要分清是位置偏差还是检索不行,换位实验该怎么做,组装顺序该怎么改?
题目
40 段被整段推进窗口,模型只引首尾两段,而关键事实位于第 18 段。要分清是位置偏差还是检索不行,换位实验该怎么做,组装顺序该怎么改?
参考答案
点击展开参考答案
- 把同一条金标段落分别挪到开头、正中和末尾,问题和其余干扰段保持不变,看正确率是否随位置起伏。
- 若只有放两端才答对,这是位置偏差;若放开头仍答错,是段落本身不够相关或模型用不了这份证据。
- 处理上应先精排到少数高分段落,把要用的证据紧贴问题,而不是把窗口填满。
- 长上下文问答里常见 U 形利用:开头像指令、结尾像最近轮次,中间段落的注意力和可用梯度都更弱。
- 40 段 × 大约 200 token 就是约 8k,再加上系统提示和问题,中间第 18 段正好落在利用率最低的一带。