切片写「周一至周四允许远程」,问句却咬住「周五禁止远程」,余弦居高,真正点名禁令的片段更靠后。编码器怎样把整句收成一条向量?
题目
切片写「周一至周四允许远程」,问句却咬住「周五禁止远程」,余弦居高,真正点名禁令的片段更靠后。编码器怎样把整句收成一条向量?
参考答案
点击展开参考答案
- 编码器先把句子切成 token,经过多层自注意力得到每个 token 的隐状态,再池化成一个固定维向量(常见约 384–1024 维),检索时用点积或余弦比较。
- 训练多用对比学习:主题相近的一对拉近,不相关的推远。
- 池化之后,否定词、星期和数字只占少数 token,被整句主题平均掉,于是“允许周一到周四”和“禁止周五”在空间里几乎同向。
- 以双编码器为例,查询和文档各走一遍编码器(权重可以对称或不对称)。
- 输入是 token id 加位置信息,输出对 token 做均值池化或取专用标记位,再经线性投影,常常做 L2 归一化;归一化后余弦等于内积,ANN 才能用内积检索。