语料约 80 万条、768 维。在 IVF-PQ、Flat、HNSW 里如何取舍?门禁是 recall@10 至少 0.98、在线 P99 不得超过 20ms。从 0.95 拉到 0.98 该拧哪些参数,何时该承认暴力扫描反而更省?
题目
语料约 80 万条、768 维。在 IVF-PQ、Flat、HNSW 里如何取舍?门禁是 recall@10 至少 0.98、在线 P99 不得超过 20ms。从 0.95 拉到 0.98 该拧哪些参数,何时该承认暴力扫描反而更省?
参考答案
点击展开参考答案
- 80 万还没到必须上 IVF-PQ 的体量。
- Flat 召回是 1.0,但一次查询大约是 80 万次 768 维距离,按实现和硬件,延迟可能从十几毫秒到上百毫秒,P99 20ms 往往悬。
- 内存够时 HNSW(原始向量加图边)通常能同时摸到高召回和个位数到十几毫秒,是这个规模的默认项。
- IVF-PQ 更省内存、适合再大一个数量级,同等 0.98 召回往往要加大
nprobe,延迟不一定赢。 - Flat 无训练、写入即可查,适合当评测真值和小库。
- HNSW 的
M(每点边数)和efConstruction影响图质量、构建时间和内存,efSearch只影响查询。