入库体积掉到四分之一:有人把 1024 维只留下最前 256 个坐标。检索质量与每次距离运算会先在何处失真?何种前提下更短宽度是训练时就给出的合法工作点,而不是拿砍刀硬切?
题目
入库体积掉到四分之一:有人把 1024 维只留下最前 256 个坐标。检索质量与每次距离运算会先在何处失真?何种前提下更短宽度是训练时就给出的合法工作点,而不是拿砍刀硬切?
参考答案
点击展开参考答案
- 朴素截断假定信息均匀铺在坐标上,但一般 embedding 的前 256 维并不是独立的低分辨率语义。
- 距离变成残缺内积,近邻关系会乱,召回往往先在细粒度区分(近义条款、易混工单)上掉,而不是所有查询均匀掉一点。
- 存储和距离计算确实约按 (d) 线性降:同样 (n),内存、带宽和 Flat 扫描时间都接近四分之一。
- 只有模型在训练时就提供可截断的嵌套维度,并且你按它指定的前 (k) 维、截断后仍归一化,「更短」才是受支持的工作点。
- 成本账:(n=10^6)、(d=1024)、float32 约 4GB 裸向量;(d=256) 约 1GB。
- 图的边数不随 (d) 线性,但距离仍随 (d) 线性,更高维时扫描更吃带宽。