把同一训练批次内其余行的正文档直接当负例,用来训面向检索的 embedding。这种写法省掉了什么?何种情形会把本该靠近的相关文档推开?
题目
把同一训练批次内其余行的正文档直接当负例,用来训面向检索的 embedding。这种写法省掉了什么?何种情形会把本该靠近的相关文档推开?
参考答案
点击展开参考答案
- 对比学习把损失写成:正对(查询,相关文档)的相似度,在一堆候选里占比要变大;常见实现是带温度的 InfoNCE。
- 批内负样本把其它行的正文档直接当负例,负例个数大约是
batch_size − 1,省掉单独检索和存储难负例的流水线。 - 若同一意图的另一篇制度、同一工单的另一切块碰巧落在同一 batch,它们会变成假负例,梯度会把本该靠近的点推开。
- 设 batch 有 (B) 个 ((q_i, d_i^+))。
- 对 (q_i),候选常是 ({d_1^+,\ldots,d_B^+})(多卡训练还可跨设备收集),分数 (s(q,d)=q\cdot d/\tau)。