「不可退货」被向量检索排到「可以退货」旁边,根因是相似度公式算错了,还是句向量训练目标从未要求拆开否定?
题目
「不可退货」被向量检索排到「可以退货」旁边,根因是相似度公式算错了,还是句向量训练目标从未要求拆开否定?
参考答案
点击展开参考答案
- 主因通常是训练目标,不是余弦本身算错。
- 句向量对比学习拉近的是释义和主题相近的文本,“可以退货”与“不可退货”共享几乎全部词汇和场景,只差一个否定,几何上完全可以很近。
- 余弦只是在这个空间里量角度,它不实现逻辑蕴涵。
- 改公式(换成点积或 L2)很少能拆开否定对;更有效的是混合检索、带否定意识的重排、以及商品/政策版本等元数据硬过滤。
- LLM 内部的 token embedding 是
[vocab, D]查找表,给第一层提供位置上的向量;RAG 用的句向量通常来自双塔/指令微调编码器,对整段做池化。 - 后者优化的是“查询与正文档近、与负文档远”,负例很少按逻辑非来采,于是反义句会变成假近邻。