为什么多模态模型经常"看不见"图里的小物体?
题目
为什么多模态模型经常"看不见"图里的小物体?
参考答案
点击展开参考答案
- 分辨率问题:图片经过 patch 化后,小物体可能只占 1~2 个 patch,信息被压缩了。
- 训练数据问题:网络图文对中,caption 一般只描述大物体和主要内容,小物体很少被提到;对比学习学不到小物体的语义。
- 注意力分散:视觉 token 很多,模型注意力都放在主要物体上,小物体的信号被淹没。
- 缓解:高分辨率输入、动态分辨率、专门的细粒度数据集微调。
- 追问:GPT-4V 是怎么解决这个问题的?(答:据传用了高分辨率 + 多 cropped 图拼接的方式,把图片切成多个高分辨率块分别处理再融合)