跳到主要内容

GQA、MQA、MHA 的区别?为什么现在主流大模型都用 GQA?

模型选型与微调高级模型选型与微

题目​

GQA、MQA、MHA 的区别?为什么现在主流大模型都用 GQA?

参考答案​