夜间索引重建刚做完,RAG 节点 RSS 已经涨到大约 90GB,远超按裸向量公式估出来的占用。重复 chunk、多余副本、图上的边、裸向量本身各占多少,你怎么拆这笔内存账?哪一刀先砍可以保住召回?
题目
夜间索引重建刚做完,RAG 节点 RSS 已经涨到大约 90GB,远超按裸向量公式估出来的占用。重复 chunk、多余副本、图上的边、裸向量本身各占多少,你怎么拆这笔内存账?哪一刀先砍可以保住召回?
参考答案
点击展开参考答案
- 先按组件代入 N、d、M、副本数记账,再按「重复文本和未卸旧索引 → 正文常驻 → 图参数 → 量化/降维」往下砍。
- 完全相同的 chunk、夜里留下的旧图、多出来的进程内副本,是零精度损失;HNSW 的 M 过大是用内存换一点召回;量化才动距离,必须用冻结集守门。
- 90GB 里若原向量按
N × d × 4只有一小半,其余多半在邻接表、payload 字符串、分配器和没释放的上一版索引。 - 示意拆账(把数字换成你们的):原向量
N × d × 4 B,节点上若「旧索引未卸 + 新索引」或本机两副本,直接乘 2。 - HNSW layer0 邻接大约
N × 2M × 4 B,M 从 16 升到 64,边内存约乘 4。