多模态大模型(如 GPT-4V)的架构一般是什么样的?
题目
多模态大模型(如 GPT-4V)的架构一般是什么样的?
参考答案
点击展开参考答案
- 主流架构(LLaVA 范式):
-
- (a) 图像编码器:预训练好的 CLIP ViT,把图片编码成视觉特征序列。
-
- (b) 对齐层(投影层):把视觉特征映射到 LLM 的 embedding 维度(如 MLP 或线性层)。
-
- (c) LLM:接一个预训练好的大语言模型,视觉 token 和文本 token 拼在一起输入。
- 训练流程:(a) 第一阶段:只训练对齐层,让视觉特征和 LLM 词空间对齐;(b) 第二阶段:指令微调,用图文指令数据训练模型学会回答问题。
- 为什么不端到端从头训?(答:太贵;复用预训练好的视觉编码器和 LLM,只训练中间对齐层,成本低效果好)
- 追问:为什么图像 token 数很多?(答:一张 224×224 的图,patch=14,就是 16×16=256 个视觉 token;比一句话的 token 多很多,占上下文空间)