CLIP 之后有哪些重要的多模态预训练工作?
题目
CLIP 之后有哪些重要的多模态预训练工作?
参考答案
点击展开参考答案
- ALIGN:Google,用更粗糙的 alt-text 数据和更大的 batch 做对比学习。
- BLIP:Salesforce,引入文本编码器生成的 synthetic caption 做数据增强。
- Flamingo:DeepMind,在冻结的 LM 上加 perceiver resampler 接视觉特征,做少样本多模态。
- Llava/Qwen-VL/InternVL:把视觉接到 LLM 上做通用多模态对话。
- 趋势:从"图文检索/分类"走向"通用多模态对话";视觉和语言越来越深度融合。
- 追问:现在最强的开源多模态模型有哪些?(答:Qwen-VL-Max、InternVL 系列、LLaVA-NeXT、GPT-4o 是闭源标杆)