生产向量未经 L2 单位化,库侧却按内积打分,篇幅更长的段落分数系统性偏高。改用余弦、改用欧氏,各自消掉哪类偏差?何种条件下三种排法给出同一名次?
题目
生产向量未经 L2 单位化,库侧却按内积打分,篇幅更长的段落分数系统性偏高。改用余弦、改用欧氏,各自消掉哪类偏差?何种条件下三种排法给出同一名次?
参考答案
点击展开参考答案
- 内积 (\langle q,d\rangle=|q||d|\cos\theta),同时吃方向和模长。
- 不少编码器对更长、词更多的段落给出更大的模,于是「写得长」被当成「更相关」。
- 余弦只留方向,消掉这种模长偏好。
- 欧氏距离 (|q-d|^2=|q|^2+|d|^2-2\langle q,d\rangle),在未归一化时既罚模长差也罚方向差。
- 训练损失若用的是归一化后的余弦或 InfoNCE,线上必须同一套:先归一化再内积,或直接余弦。
- 若模型故意把信息量编进模长,改用余弦会丢掉这部分信号——该不该归一化看训练约定,不能按爱好选。