嵌入模型与重排器都没改,百万级向量库上 P99 检索却从大约 80ms 爬到大约 900ms。买加速硬件之前,过滤时机、ANN 参数、缓存应按什么次序排查?
题目
嵌入模型与重排器都没改,百万级向量库上 P99 检索却从大约 80ms 爬到大约 900ms。买加速硬件之前,过滤时机、ANN 参数、缓存应按什么次序排查?
参考答案
点击展开参考答案
- 模型和重排没变,说明贵在查询向量之后、重排之前:ANN 访问、过滤候选和取回正文。
- 先看过滤是在图搜索前还是后——后过滤且选择度只有几个百分点时,为凑满 k 会把候选扩大十几倍,P99 从几十毫秒爬到近秒是典型现象。
- 再查 HNSW 的
efSearch、IVF 的nprobe是否被上调、图是否因未优化的插入变乱、索引是否被换出内存。 - 最后才是查询向量缓存和
(查询哈希, 过滤条件)的结果缓存。 - 拆延迟:查询 embedding(未改模型则应仍大约 10ms 量级)→ ANN → 元数据过滤 → 拉 payload → 重排(题目说没动,可先当对照)。
- 后过滤的代价近似
k_effective ≈ k / 选择度:选择度 5% 要大约 20 倍过检,图遍历和随机读都会冲高 P99。