RAG 系统上线后,效果不好怎么系统性优化?
题目
RAG 系统上线后,效果不好怎么系统性优化?
参考答案
点击展开参考答案
- 建评估集:先有 100~500 条标准问答对,每次优化都跑回归,量化提升。
- 分层排查:检索准确率多少?生成忠实度多少?先找短板。
- 数据层:文档清洗质量、chunking 策略、embedding 模型选型。
- 检索层:混合检索、Rerank、Query 改写、父子分块。
- 生成层:Prompt 优化、上下文编排、模型选型。
- 闭环:收集 bad case,定期迭代优化。
- 追问:最常见的问题是哪一层?(答:检索层问题占 70% 以上,大部分 RAG 效果差都是因为检索不到正确文档,而不是 LLM 不会回答)