若逐步生成时每一步都把完整提示重新算一遍,该缓存哪些张量、形状是什么?修好之后注意力计算量大约能少几倍?
题目
若逐步生成时每一步都把完整提示重新算一遍,该缓存哪些张量、形状是什么?修好之后注意力计算量大约能少几倍?
参考答案
点击展开参考答案
- Prefill 一次吃完整提示,形状
[B, S, D],每层算出该层全部位置的 K、V,写入缓存,形状约为[B, H_kv, S, Dh]。 - 之后每个 decode 步只输入新 token,得到
q_len=1的 Q,对已缓存的 K、V 做注意力,再把这一步的 k、v 追加到缓存末尾;FFN 也只跑这一个位置。 - 若每步把长度为
S+t的整段再做一次全序列自注意力,注意力分数从“1 条 query × 当前长度”退化成“当前长度²”。 - 以约 2k 提示再写 128 个新 token 为例,仅注意力分数这一项,改正后大约少两到三个数量级(约两千倍,随当前长度线性变),FFN 也会从每步 O(S) 降到 O(1)。
- 一层里注意力内部常是
Q,K,V按头拆成[B, H, q_len, Dh];正确 decode 时q_len=1,k_len=S+t,分数[B, H, 1, S+t]。 - 错误实现相当于每步
q_len=k_len=S+t。