RAG Latency 如何优化?
题目
RAG Latency 如何优化?
参考答案
点击展开参考答案
- 离线异步完成解析、Embedding 和索引;在线 trace 分解 query rewrite、Embedding、BM25/向量召回、融合、rerank、上下文组装和生成。
- 并行独立召回,先 metadata/ACL 过滤,控制各路 Top-K,只对几十个候选 rerank,并批处理/小模型加速。
- 缓存 embedding、稳定查询和文档结果,但键包含租户、权限与知识版本;连接池和向量索引按真实过滤压测。
- 自适应跳过不必要改写/rerank,严格 deadline 下返回可解释部分结果。
- 优化同时看 Recall/nDCG、答案忠实度、检索/端到端 P95/P99 与成本,不能仅降低延迟。