纸上如何先估峰值 RSS、段合并、批量吞吐和建图墙钟,判断周末窗口能否把五百万条 768 维灌进 HNSW?在线逐点插边,还是离线建完再切流?日增约 2% 时,何时该停增量、改做全量重建?
题目
纸上如何先估峰值 RSS、段合并、批量吞吐和建图墙钟,判断周末窗口能否把五百万条 768 维灌进 HNSW?在线逐点插边,还是离线建完再切流?日增约 2% 时,何时该停增量、改做全量重建?
参考答案
点击展开参考答案
- 先拆四笔账:裸向量字节、图边字节、嵌入吞吐决定的墙钟、点插入或批量建图决定的墙钟,峰值 RSS 按最终索引的 2–3 倍留。
- 五百万 × 768 × 4B 大约 14.3GiB 向量,(M=16) 时 layer0 边大约 0.6GiB,高峰常到几十 GiB 量级,不是「14GiB 机器就能灌」。
- 周末窗口用离线影子索引建完再切流,比在线一条条插边更可控;每天约 2% 增量可以先点插,等冻结集召回掉、RSS/(N) 抬头、插入变慢或经历过大规模删除,再停增量做全量重建。
- 纸上计算(数字当示意,用你们自己的小样本校准斜率):①
bytes_vec = 5e6 × 768 × 4 ≈ 1.54×10^{10}≈ 14.3GiB。 - ②
bytes_graph ≈ N × 2M × 4,(M=16) 得约 0.64GiB,上层边和主键再加一截,稳态索引大约 15–20GiB 加 payload。