上下文从 8K 加到 100K 量级时,一套在线 MoE 服务若仍用稠密注意力,先见底的是算力还是 KV 缓存?各层搭配不同压缩方式能缓解哪一头?
题目
上下文从 8K 加到 100K 量级时,一套在线 MoE 服务若仍用稠密注意力,先见底的是算力还是 KV 缓存?各层搭配不同压缩方式能缓解哪一头?
参考答案
点击展开参考答案
- Prefill 全注意力的浮点运算按长度二次涨,8K → 100K 大约是 (100/8)² ≈ 156 倍的注意力计算;KV cache 按长度线性涨,大约 12.5 倍。
- 窗口只有几 K 时,常常先感到 KV 把并发挤掉;到 10 万级,prefill 墙钟和 KV 会一起爆。
- MoE 稀疏的是 FFN 激活量,救不了这两项。
- 层间混合的做法是:一部分层做窗口或按块检索的稀疏注意力(压 KV 条目和点积次数),一部分层做压缩后的稠密全局混合,并保留开头 sink 与最近窗口,避免远距离精度被砍光。
- 标准多头/分组注意力:每层每 token 存一份 K、V,对全部历史做点积。
- 按 40 层、8 个 KV 头、d_h = 128、BF16 估算,每 token 约 160 KiB,100K 约 16 GiB/序列,再乘并发就不现实;prefill 里注意力项约 L·n_q·n²·d_h,n 放大 12.5 倍则平方项放大约 156 倍,FFN 只线性放大 12.5 倍,长上下文时注意力重新主导。