decoder-only 要同时吃商品图和「这双鞋是什么底」。patch 拼进同一条自注意力,对比借助 cross-attention 把图侧特征送进去,两者在 KV 开销与定位上差在哪里?
题目
decoder-only 要同时吃商品图和「这双鞋是什么底」。patch 拼进同一条自注意力,对比借助 cross-attention 把图侧特征送进去,两者在 KV 开销与定位上差在哪里?
参考答案
点击展开参考答案
- 两条路都能用,缓存和交互不同。
- 拼进同一条因果自注意力:视觉编码器或线性投影把图块变成视觉 token,和文字一起算注意力,实现简单,但每个视觉 token 都要占 KV,分辨率一高,prefill 和缓存线性变贵。
- Cross-attention:语言模型的 Q 去读图像侧的 K/V,图侧算一次即可在每个解码步复用,不占文本序列的长度配额,但对齐更重,能否指到「鞋底」取决于图像分辨率和 cross-attention 是否够密。
- 视觉 Transformer 把图切成规则图块(例如 16×16 像素一块),加位置编码后当序列;接到聊天模型时,还要用投影或压缩模块把这些特征对到语言模型隐空间。
- 早期融合让文字 token 直接看见每个图块,对「指着局部问材质」更直观,但例如几百到上千个视觉 token 会吃掉上下文窗口。