图文对齐(Image-Text Alignment)为什么难?
题目
图文对齐(Image-Text Alignment)为什么难?
参考答案
点击展开参考答案
- 模态差异:图像是连续的像素信号,文本是离散的符号;二者的语义空间完全不同,要对齐到同一个向量空间。
- 粒度差异:一张图有无数细节,一句描述只提了几个重点;什么该对齐、什么不该对齐,很难学。
- 多义性:同一张图可以有多种描述方式;同一句话可以对应很多图。
- 数据噪声:网络图文对的 caption 经常不精确、不完整;对比学习的负样本也可能是"假负例"(其实匹配但被当成不匹配)。
- 追问:为什么多模态模型经常"看不见"小物体?(答:因为预训练的图文对中,小物体很少被 caption 提到;模型没有学到小物体和文本的对应关系)