「七天无理由退货」这句话会分别当用户问句和知识段落各走一遍。从切分 token 到写出定长向量,双编码器里哪些环节缺一不可,宽度 d 又在哪一层锁死?
题目
「七天无理由退货」这句话会分别当用户问句和知识段落各走一遍。从切分 token 到写出定长向量,双编码器里哪些环节缺一不可,宽度 d 又在哪一层锁死?
参考答案
点击展开参考答案
- 文本先被 tokenizer 切成 id,再经 Transformer 得到每个 token 的上下文隐状态,最后用池化(mean、CLS 或 last token 等)压成一条长度为 (d) 的向量;(d) 由最后投影层宽度决定,与句子有多长无关。
- 双编码器里 query 和 passage 前向分开,互不看对方的 token,所以细粒度词对齐天生弱于交叉编码器。
- 训练目标让相关问答对靠近,写出的是给近邻检索用的位置,不是词袋计数。
- 一条典型前向:子词 id(这句常常只有数个到十几个)→ 位置信息 → (L) 层自注意力 → 隐状态形状 ([S, H]) → 池化到 ([H]) → 可选线性投影到 (d) → 常做 L2 归一化。
- (S) 变长,输出仍是 (d),维度锁在投影,不锁在输入长度。