RoPE、GQA、KV cache 与因果 mask,在 decoder-only 推理图里哪些拿掉会算错,哪些只改变快慢?
题目
RoPE、GQA、KV cache 与因果 mask,在 decoder-only 推理图里哪些拿掉会算错,哪些只改变快慢?
参考答案
点击展开参考答案
- 删了会破坏自回归正确性的是:token embedding、因果 mask(或等价的“只能看过去”约束)、堆叠的注意力+前馈+残差+归一化、以及 LM head。
- 若权重带着 RoPE 训、推理时删掉,Q/K 不再匹配训练分布,输出直接算错,这是正确性错误不是质量微调;只有从一开始就不加显式位置编码、只靠因果 mask 的模型(NoPE)仍能跑,但句序、抄写和长度外推会明显变差。
- KV cache 与 FlashAttention 是推理实现:数学上应与重算等价,删了只慢、不该改答案。
- GQA/MQA 是训练期就定下的头共享方案,推理时不能当开关乱切,把一种当另一种加载会形状对不上或 silently 错切;但 MHA 检查点可以按组对 K/V 头做均值池化合成 GQA,再短训一小段(原预训练算力的一小部分,见 GQA 论文,Ainslie et al. 2023)。
- 形状契约:隐状态
[B, S, D],拆头后 Q 为[B, H, S, Dh],K/V 在 GQA 下可能是[B, H_kv, S, Dh]且H_kv < H。 - Prefill 需要下三角 mask,避免位置 i 读到 i 之后;decode 若只对当前 1 个 query 与已缓存 K 做点积,mask 已由缓存内容隐含。