一百万条商品描述均长约 200 token,单向量又常把品牌、尺码、「儿童不宜」糊成同一主题。查询还同时咬住这三条。后期交互按 token 计分时,描述分怎么算,库里大约要存几条向量?
题目
一百万条商品描述均长约 200 token,单向量又常把品牌、尺码、「儿童不宜」糊成同一主题。查询还同时咬住这三条。后期交互按 token 计分时,描述分怎么算,库里大约要存几条向量?
参考答案
点击展开参考答案
- 后期交互不把整段描述压成一个点,而是查询和文档都为每个 token 保留一个向量。
- 打分时对查询的每个 token,在文档所有 token 里取最大相似度(MaxSim),再把这些最大值相加。
- 这样品牌、尺码、“儿童 / 不”可以分别对齐到描述的不同位置。
- 存储上,100 万条 × 200 token 就是约 2×10^8 个 token 向量,比“每条商品一个向量”大约多两个数量级。
- 编码阶段查询和文档仍分开走,所以文档 token 向量可以离线算好,交互推迟到打分。
- 若 q_i、d_j 已做归一化,则 s(q,d) = Σ_i max_j (q_i · d_j)。