ViT 和 CNN 的区别?ViT 为什么需要大数据预训练?
题目
ViT 和 CNN 的区别?ViT 为什么需要大数据预训练?
参考答案
点击展开参考答案
- CNN:卷积操作,局部感受野,层叠扩大感受野;有归纳偏置(平移不变性、局部性)。
- ViT(Vision Transformer):把图片切成 patch(如 16×16),每个 patch 当作一个 token,直接喂 Transformer;没有卷积,全局注意力。
- 为什么需要大数据:ViT 没有 CNN 那样的归纳偏置(局部性、平移不变),一切都要从数据中学;小数据集上 ViT 不如 CNN,大数据预训练后 ViT 反超。
- 大数据预训练:在 JFT-300M 等超大数据集上预训练,然后迁移到下游任务。
- 追问:ViT 的 patch 大小怎么选?(答:常用 16×16 或 32×32;patch 越小,序列越长,计算越贵但细节越好;16×16 是比较平衡的选择)