包装破了的现场照交上来,过往同类破损影像和配套处置说明都要能按这张图捞到。图像与文本是否必须进入同一向量空间?两条塔的前向怎样对齐,才不会「按图找图很准、按图找说明却对不上号」?
题目
包装破了的现场照交上来,过往同类破损影像和配套处置说明都要能按这张图捞到。图像与文本是否必须进入同一向量空间?两条塔的前向怎样对齐,才不会「按图找图很准、按图找说明却对不上号」?
参考答案
点击展开参考答案
- 只要还要按照片去排文本说明,图塔和文塔的输出就必须能在同一度量下比较,通常用图文对比学习拉到共享球面。
- 若只需图找图,可以停在纯视觉空间。
- 本题两条都要,就必须对齐,否则图向量和文向量的内积没有训练意义。
- 「图找图准、图找文乱」说明视觉邻域还在,跨模态对齐弱:说明太套话、图侧只编码了背景,或推理时两塔的预处理、归一化不一致。
- 图像经视觉塔(例如 ViT 一类)投影到 (d),文本经文本塔投影到同一 (d),两边常 L2 归一化,用温度缩放的对比损失在成对数据上训练。
- 推理:照片 → 图向量 → 近邻(其它图,或说明文的向量)。