组内键值取平均之后,32 路查询的 MHA 检查点能不能立刻按 8 组共用 KV 当 GQA 开服?还要再训多久质量才回来?收到单个 KV 头时哪类任务先掉点,按头做张量并行会卡在哪?
题目
组内键值取平均之后,32 路查询的 MHA 检查点能不能立刻按 8 组共用 KV 当 GQA 开服?还要再训多久质量才回来?收到单个 KV 头时哪类任务先掉点,按头做张量并行会卡在哪?
参考答案
点击展开参考答案
- 把 32 个 KV 头按 4 个一组做均值(或一次 1×1 混合)可以得到合法的 8 头 K/V 形状,查询投影和输出投影却仍按当初 32 套独立键空间来的,q_h·k_h 立刻变成 q_h·k_{组(h)},softmax 和加权 V 都对不上,能跑但不数值等价。
- 必须再做一段续训(常冻结大部分层、用较小学习率改 Q/O 与新的 KV),让查询重新对准共享键;只改权重就上线,短文下一 token 损失会跳,长距复制更先崩。
- 收到 8 组通常比收到 1 组(MQA)更能保住指代和“大海捞针”式检索;MQA 带宽更省,但 1 个 KV 头在按头切的张量并行里很难均分到 8 卡,只能复制或改切隐藏维,通信模式跟着变。
- 形状上 W_K、W_V 从
[D, 32·d_h]收成[D, 8·d_h]:先 view 成[D, 8, 4, d_h]再对大小 4 的那一维取平均。 - 推理时 KV 头下标是
h_q // 4,核内广播或按组索引,不改变查询头宽度。