RAG 检索到了正确文档,但模型不引用/不基于它回答,怎么办?
题目
RAG 检索到了正确文档,但模型不引用/不基于它回答,怎么办?
参考答案
点击展开参考答案
- Prompt 层面:明确要求"只根据提供的上下文回答,如果上下文里没有答案就说不知道";给出 few-shot 示例展示正确引用方式。
- 上下文编排:把最相关的文档放在 prompt 开头和结尾(Lost in the Middle 效应:中间部分容易被忽略);控制送入文档数量(3~5 篇为宜,太多反而干扰)。
- 训练层面:如果是自有模型,在 SFT 数据中加入 RAG 格式的样本,让模型学会"看到上下文就引用上下文"。
- 后处理:输出后用 NLI 模型校验回答是否和上下文矛盾;加引用标注要求。
- 追问:Lost in the Middle 是什么?(答:研究发现模型对 prompt 开头和结尾的信息关注多,中间的信息容易被忽略;所以重要文档要放两头)
- 追问:为什么送太多文档反而效果差?(答:上下文太长会稀释相关信息,模型注意力分散;且长上下文下模型的"服从性"会下降)