LLaVA 的架构是什么?简单描述一下。
题目
LLaVA 的架构是什么?简单描述一下。
参考答案
点击展开参考答案
- 视觉编码器:CLIP ViT-L/14,冻结,提取图像特征。
- 对齐层:一个 MLP(两层),把视觉特征投影到 LLM 的 embedding 维度。
- LLM:Vicuna(基于 LLaMA 的指令微调模型)。
-
- 第一阶段:只训练对齐层,用图文对做"图像特征→文本"的对齐;MLP 把视觉特征映射到 LLM 词空间。
-
- 第二阶段:指令微调,用图文指令数据训练整个模型(视觉编码器冻结,对齐层+LLM 可调)。
- 为什么重要:LLaVA 证明了"冻结 CLIP + 冻结 LLM + 一个简单对齐层"就能做出不错的多模态模型,大幅降低了多模态研究门槛。
- 追问:LLaVA 的局限?(答:分辨率低、小物体看不见、幻觉多;后续版本 LLaVA-1.5/1.6 改进了这些)