INT8、乘积量化、标量分箱要对付两千万条、每条宽度 1024 的 float32,常驻占用必须压到约四分之一才能让 RAG 上线。三者分别砍掉哪一层字节,漏召回又从哪类量化误差渗出?
题目
INT8、乘积量化、标量分箱要对付两千万条、每条宽度 1024 的 float32,常驻占用必须压到约四分之一才能让 RAG 上线。三者分别砍掉哪一层字节,漏召回又从哪类量化误差渗出?
参考答案
点击展开参考答案
- 只算向量、不含图边和正文:两千万 × 1024 × 4 B ≈ 82 GB;砍到约四分之一,数量级上对应逐维 INT8(约 20 GB)。
- 标量分箱和 INT8 是同一类「每维独立码本」,近邻序大多还在,漏召回主要出在动态范围被截断的尾部维。
- 乘积量化把 1024 维切成多段子空间(例如 64 段 × 8 bit,编码约 1.3 GB),距离改成查表近似,相邻文档更容易被量化噪声打乱序。
- 生产上通常用压缩向量做粗召回,再用更高精度向量或 cross-encoder 精排,砍的是工作集,不是一次把精度扔光。
- 量化把连续坐标映到有限码本,省内存带宽和存储,付距离误差。
- 三条稳定路径:①逐维 INT8 / 标量量化:按训练样本的分位数或对称
scale标定,已 L2 归一化的 embedding 各维动态范围接近,对称量化较稳。