GQA、MQA、MHA 的区别?为什么现在主流大模型都用 GQA?
题目
GQA、MQA、MHA 的区别?为什么现在主流大模型都用 GQA?
参考答案
点击展开参考答案
- MHA(Multi-Head Attention):Q、K、V 头数相同,每个 Q 头配独立的 K/V 头;参数量最大,效果最好。
- MQA(Multi-Query Attention):所有 Q 头共享同一组 K/V 头(K/V 头数=1);大幅减少 KV Cache 显存,推理加速明显,但效果略有下降。
- GQA(Grouped-Query Attention):折中方案,将 Q 头分为若干组,每组共享一组 K/V 头;如 32 个 Q 头配 8 个 KV 头,每组 4 个 Q 头共享 K/V。
- 为什么主流选 GQA:KV Cache 显存大幅降低(相比 MHA 减少到 1/4 或 1/8),效果几乎无损(论文证明接近 MHA),推理吞吐显著提升。LLaMA-2/3、Qwen、Mistral 均采用 GQA。
- 追问:GQA 训练时需要注意什么?(答:如果从 MHA 模型转 GQA,可以将同组的 K/V 头平均融合做 warm start,减少训练成本)
- 追问:MQA 为什么效果会下降?(答:共享 K/V 头导致表达能力受限,多语义空间被压缩到同一组 K/V 中)