跳到主要内容

INT8、乘积量化、标量分箱要对付两千万条、每条宽度 1024 的 float32,常驻占用必须压到约四分之一才能让 RAG 上线。三者分别砍掉哪一层字节,漏召回又从哪类量化误差渗出?

RAG 检索与知识组织中级RAG

题目​

INT8、乘积量化、标量分箱要对付两千万条、每条宽度 1024 的 float32,常驻占用必须压到约四分之一才能让 RAG 上线。三者分别砍掉哪一层字节,漏召回又从哪类量化误差渗出?

参考答案​