CLIP 的核心思想是什么?对比学习怎么做的?
题目
CLIP 的核心思想是什么?对比学习怎么做的?
参考答案
点击展开参考答案
- 核心思想:从海量图文对中学习,让匹配的图文对在向量空间中靠近,不匹配的远离。
- 架构:图像编码器(ViT/ResNet)+ 文本编码器(Transformer),各自把图像和文本映射到同一个 embedding 空间。
- 对比学习损失:一个 batch 里有 N 个图文对,计算 N×N 的图文相似度矩阵;对角线是正样本(匹配的),非对角线是负样本;用 InfoNCE 损失——拉近对角线,推远非对角线。
- 效果:CLIP 学到的是通用视觉概念表示,可以做 zero-shot 分类——把类别名写成文本,和图片算相似度就行。
- 追问:CLIP 为什么需要那么多数据?(答:对比学习需要海量负样本才能学到好的表示;CLIP 用了 4 亿图文对)
- 追问:CLIP 的局限?(答:对细粒度分类、计数、空间关系不擅长;zero-shot 能力有限)