先不要堆机器。面对五百万份内部文档,如何用数量级估算选定分片、存放规模和按变更重建,再去做检索索引?
题目
先不要堆机器。面对五百万份内部文档,如何用数量级估算选定分片、存放规模和按变更重建,再去做检索索引?
参考答案
点击展开参考答案
- 先把文档数换成向量数和常驻字节数,再决定“单分片能放进内存的图”和“一次变更要重算多少 embedding”。
- 五百万文档按每篇约 8 个块估算是约四千万向量;768 维 float32 裸向量大约 115 GiB,HNSW 邻接再加五到十成,整库常驻往往要 180–230 GiB。
- 这个量级已经不该做单图硬塞,而应按租户或命名空间切成百万级分片,并用内容哈希只重嵌脏文档。
- 加机器只覆盖内存,盖不住全量重嵌的时间和误删残留。
- 数据流是:解析 → 分块 → 内容哈希 → embedding → 写入分片 ANN,查询只路由到权限命中的分片。
- 示意计算:
n_vec = 5e6 * 8,bytes = n_vec * 768 * 4 ≈ 1.2e11。