保持 d_model 不变,把 32 个注意力头收成 1 个更宽的头,表达能力与 KV 带宽各自会在何处受损?
题目
保持 d_model 不变,把 32 个注意力头收成 1 个更宽的头,表达能力与 KV 带宽各自会在何处受损?
参考答案
点击展开参考答案
- 单头时所有位置只共享一套注意力分布,只能形成一种“谁看谁”的模式;多头把同一隐藏维度切成多个子空间,例如 32×128,各头可同时抓句法、指代、邻近位置等不同关系,再拼回原维度。
- QKV 投影的参数量几乎不随这种重排改变。
- 推理 KV cache 的字节数由 KV 头数 × head_dim 决定:若仍是每查询头一套 KV,头数从 32 收到 1,带宽大约降 32 倍,但表达力通常明显变差。
- 这正是后来用 GQA/MQA——多套 Q、少套 KV——做折中的原因。
- 每个头 h 计算 softmax(QₕKₕᵀ/√dₖ)Vₕ,concat 后再乘 Wᴼ。
- dₖ = d_model / n_heads,例如 4096/32=128。