同一知识块按文档粗算,倒排上「词 ID→权重」的学习稀疏向量和 HNSW 上 768 维实数,两侧大约各占多少字节?词表变宽、中文语料再覆盖英语和法语、每天改写一成文档时,存储或更新哪一侧先顶满?
题目
同一知识块按文档粗算,倒排上「词 ID→权重」的学习稀疏向量和 HNSW 上 768 维实数,两侧大约各占多少字节?词表变宽、中文语料再覆盖英语和法语、每天改写一成文档时,存储或更新哪一侧先顶满?
参考答案
点击展开参考答案
- 学习稀疏向量是一张几乎全零的词表轴:非零项是「词 ID + 学出来的权重」,靠倒排表按词取 posting。
- 稠密向量是固定 (d) 维的实数数组,几乎每维都非零,靠 ANN 图或簇做近邻。
- 按文档计,768 维 float32 裸向量大约 3KB,再加一层 HNSW 邻接通常仍是数 KB 量级;稀疏一侧取决于激活词数,例如平均 80–300 个非零时 posting 大约 0.6–2.4KB,扩张到五六百个词就可能反超稠密。
- 词表膨胀和跨语言先打稀疏的轴和倒排宽度;编码器一换或每天一成文档改写,稠密要重嵌并改图,稀疏要改写多条 posting,两边贵的位置不同。
- 稀疏:编码器(或统计模型)对一段文本吐出 ({(t,w_t)}) → 词典把 (t) 映成全局词 ID → 倒排
term → [(doc_id, weight)];查询同样扩张成一组词,只合并这些 posting,分数是稀疏点积 (\sum_t w_q(t),w_d(t))。 - 稠密:编码器吐 (\mathbb{R}^{768}) → 写入 HNSW/IVF;查询做一次前向,在图上走边或探簇。