模型选型与微调MHA / GQA / MQA 的区别?为什么现在多用 GQA?本页总览MHA / GQA / MQA 的区别?为什么现在多用 GQA?模型选型与微调中级模型选型与微 题目 MHA / GQA / MQA 的区别?为什么现在多用 GQA? 参考答案 点击展开参考答案 Q 头数不变,逐步减少 K/V 头;主要收益是 KV Cache 显存与推理带宽,效果损失很小。