如果让你优化一个长上下文(128K)Transformer 的推理性能,你会从哪些方面入手?
题目
如果让你优化一个长上下文(128K)Transformer 的推理性能,你会从哪些方面入手?
参考答案
点击展开参考答案
- KV Cache 优化:启用 GQA 减少 KV 头数;KV Cache 量化到 INT8 甚至 INT4;PagedAttention 减少显存碎片。
- 注意力优化:滑动窗口注意力(Sliding Window Attention)只看最近 N 个 token;Ring Attention 跨设备切分序列;FlashAttention-2/3 提升 IO 效率。
- 系统层:Continuous Batching 提高 GPU 利用率;Chunked Prefill 混合 prefill 和 decode 请求;vLLM/SGLang 等推理框架。
- 模型层:检查模型是否支持长上下文外推(RoPE scaling);必要时做长上下文继续预训练。
- 追问:128K 上下文的 KV Cache 显存大概多少?(答:7B 模型 GQA 8 KV 头,head_dim=128,28 层,FP16:2×28×8×128×131072×2bytes ≈ 15GB;batch 多条直接爆显存)
- 追问:滑动窗口注意力会不会丢信息?(答:会丢失远距离依赖,所以很多模型用全局+滑动窗口混合模式,如 Mistral 的每 4 层有 1 层全局注意力)