合同长约 20k token,滑动窗口宽度取 4096。第 4 层和第 32 层的理论感受野分别多长,KV 缓存能降到全量的几分之几?
题目
合同长约 20k token,滑动窗口宽度取 4096。第 4 层和第 32 层的理论感受野分别多长,KV 缓存能降到全量的几分之几?
参考答案
点击展开参考答案
- 滑动窗口注意力规定位置 i 只和 [i−W+1, i] 做点积,单层复杂度是 O(n·W) 而不是 O(n²),KV 用环形缓冲只保留最近 W 个位置。
- 信息可以沿层接力:第 ℓ 层的理论感受野大约是 ℓ·W,所以例如 W=4096 时第 4 层约 1.6 万 token、第 32 层约 13 万 token,2 万 token 的合同在深层“纸面够得着”。
- 接力是层层加权混合,不是把远处原句拷过来,免责条款的精确检索仍常失败;KV 则从按 n 缓存降到按 W 缓存,n=2 万、W=4096 时大约只留全量的五分之一。
- 实现上每层维护长度 W 的 K/V 环:新 token 写入
head % W,过期位置直接覆盖,不必搬移整段缓存。 - 注意力 FLOPs 大致按 n·W·d 而不是 n²·d 涨,显存按 2×层数×KV 头数×head_dim×序列×字节数估算——例如 32 层、32 头、head_dim=128、FP16 时,全注意力 2 万 token 的 KV 约数 GB 量级,换成 W=4096 可按 W/n 同比缩小。