模型选型与微调中级规划
多模态模型的推理瓶颈在哪里?
参考答案
点击展开参考答案
- 视觉编码器:图像特征提取是计算密集型,大图/高分辨率很贵。
- 视觉 token 太多:一张图几百个视觉 token,占大量上下文,KV Cache 膨胀。
- 架构复杂:比纯文本模型多了视觉编码器部分,部署更复杂。
- 优化方向:高分辨率下用动态分辨率、视觉 token 压缩(把多个 patch 合并)、视觉编码器量化。
- 追问:视觉 token 压缩是什么?(答:把 256 个视觉 token 压缩到 64 个,减少上下文占用;代价是细节损失)