vLLM 的 PagedAttention 解决了什么问题?
题目
vLLM 的 PagedAttention 解决了什么问题?
参考答案
点击展开参考答案
- 传统问题:KV Cache 按最大序列长度预分配连续显存,大量空间被浪费——内部碎片(预留了但没用满)+ 外部碎片(不同长度请求导致显存碎片)。
- PagedAttention 思想:借鉴操作系统的虚拟内存分页机制,把 KV Cache 切成固定大小的 block(如每个 block 存 16 个 token 的 KV);逻辑上连续,物理上离散;通过 block table 映射。
- 效果:显存利用率从 ~20% 提升到
90%;可以并发处理更多请求;吞吐量提升 24 倍。 - 额外优势:不同请求之间可以共享 KV Cache(如 parallel sampling 同一个 prompt 生成多个输出)。
- 追问:vLLM 还有什么关键特性?(答:Continuous Batching、PagedAttention、量化支持、张量并行、流式输出;是目前最流行的开源推理引擎)
- 追问:PagedAttention 有什么缺点?(答:分页映射有额外开销;对很短的序列反而 overhead 大)