手册单章大约 3k token,切成约 200 token 的块之后,「本章适用范围」和代词所指都丢了。向量模型窗口有 8k,能不能先对整章做一次编码,再按块的 token 区间做池化得到块向量?这和给每块先写一段生成式前缀再嵌入差在哪,召回评测要看什么?
题目
手册单章大约 3k token,切成约 200 token 的块之后,「本章适用范围」和代词所指都丢了。向量模型窗口有 8k,能不能先对整章做一次编码,再按块的 token 区间做池化得到块向量?这和给每块先写一段生成式前缀再嵌入差在哪,召回评测要看什么?
参考答案
点击展开参考答案
- 这就是迟切分(late chunking):用能吃长文的编码器对整章做一次前向,取出每个 token 的上下文相关向量,再按块的字符或 token 区间做均值(或带注意力的)池化,得到块向量写入 ANN。
- 块在向量里已经「看见」过章首的适用范围和前文实体,而不必把这些话复制进块正文。
- 生成式前缀是另一条路:先让生成模型给块写一两句独立可读的短前缀,再把「前缀+原文」送进普通短窗嵌入;前缀进的是另一套模型的文本,嵌入模型自己并没有跨块注意力。
- 迟切分省掉每块一次生成,但要求嵌入骨干的窗口盖住整章(这里 3k < 8k),并且入库算力按「章」而不是按「短块」计。
- 设章的 token 序列为 t_1..t_L,L≈3000;矩阵 H∈R^{L×d} 的行下标从 0 起,第 i 行对应 t_{i+1}(与代码一致,0-based)。
- 长窗编码器一次前向得到 H。