向量检索和 BM25 关键词检索的区别?为什么常做混合检索?
题目
向量检索和 BM25 关键词检索的区别?为什么常做混合检索?
参考答案
点击展开参考答案
- 向量检索:基于语义相似度(cosine similarity),能理解同义词、相关概念;但对精确关键词(如专有名词、型号、代码)匹配不如 BM25。
- BM25:基于词频统计的稀疏检索,精确关键词匹配强;但无法理解语义("手机"和"移动电话" BM25 认为不相关)。
- 混合检索:同时跑向量检索和 BM25,用 RRF(Reciprocal Rank Fusion)或加权融合两路结果;兼顾语义匹配和精确关键词匹配,实际效果显著优于单路。
- 重排阶段再用 cross-encoder 精排,进一步提升精度。
- 追问:RRF 融合公式?(答:score = Σ 1/(k + rank_i),k 常取 60;不需要归一化两路分数,直接按排名融合)
- 追问:向量检索用什么向量数据库?(答:Milvus、Qdrant、Weaviate、PGVector、Faiss;小规模用 Faiss/PGVector,大规模生产用 Milvus/Qdrant)