跳到主要内容

RoPE、GQA、KV cache 与因果 mask,在 decoder-only 推理图里哪些拿掉会算错,哪些只改变快慢?

模型选型与微调中级规划

题目​

RoPE、GQA、KV cache 与因果 mask,在 decoder-only 推理图里哪些拿掉会算错,哪些只改变快慢?

参考答案​