KV Cache 的原理是什么?为什么能加速自回归推理?
题目
KV Cache 的原理是什么?为什么能加速自回归推理?
参考答案
点击展开参考答案
- 原理:自回归生成时,每生成一个新 token,需要对前面所有 token 做注意力。但前面 token 的 K、V 向量在之前的步骤中已经算过了,不需要重复计算——把它们缓存起来,新 token 只算自己的 Q 去和缓存的 K/V 做注意力即可。
- 加速效果:Prefill 阶段(处理输入 prompt)仍然是 O(n²),但 Decode 阶段每步从 O(n²) 降到 O(n)(只需算新 token 的 Q 和已有 K/V 的注意力)。
- 显存代价:KV Cache 显存 = 2 × n_layers × n_kv_heads × seq_len × head_dim × batch_size × dtype_bytes;这是长上下文推理显存的主要开销之一。
- 追问:KV Cache 的显存占用怎么优化?(答:GQA/MQA 减少 KV 头数、KV Cache 量化(INT8 KV)、PagedAttention 减少碎片、滑动窗口只保留最近 N 层)
- 追问:为什么 Prefill 和 Decode 要分开调度?(答:Prefill 是计算密集型(大矩阵乘),Decode 是内存密集型(逐 token 读 KV Cache),二者 batch 策略不同,vLLM 等框架做 chunked prefill 混合调度)