时延大约 50ms 就要吐出 top-20,底库是十亿条 768 维。单机 HNSW 会先被内存、建图墙钟还是尾延迟打死?分片、量化、冷热分层按什么次序叠加?
题目
时延大约 50ms 就要吐出 top-20,底库是十亿条 768 维。单机 HNSW 会先被内存、建图墙钟还是尾延迟打死?分片、量化、冷热分层按什么次序叠加?
参考答案
点击展开参考答案
- 先撑不住的是内存:十亿 × 768 × 4 B ≈ 3 TB 原向量,图边再加一截(layer0 按每点约 2M 个 4 B 邻接估算,M=16 时大约 0.1 TB 量级),单机 DRAM 放不下;十亿次 HNSW 插入的构建窗口也远超可停机时间。
- 50ms 的 P99 要求每次查询只碰一小片常驻数据,应先按向量切分片(每片工作集可预测),片内再上 IVF/PQ 或量化,热文档留高精度精排,冷数据放压缩编码甚至磁盘。
- 不要先建一张巨型单图再指望把 efSearch 拧小来省延迟。
- 单机 HNSW 的三堵墙不同步:内存墙最先到(原向量 TB 级);构建墙随后(在线图插入常数大,十亿点是天到周的离线作业,还要预留重建);尾延迟墙在工作集开始换页或 scatter-gather 的慢分片拖后腿时出现——P50 仍可看,P99 被最慢分片和 GC/缺页决定。
- 顺序:①哈希或随机分片,全局语义检索做 scatter-gather,分片数先让单片原向量或压缩后向量能进内存。