窗口从 2k 撑到 8k 之后,注意力层里一次吃完整段提示的计算量和逐步解码时读 KV 的流量大约各乘几倍?优先收缩提示词,还是优先换注意力写法?
题目
窗口从 2k 撑到 8k 之后,注意力层里一次吃完整段提示的计算量和逐步解码时读 KV 的流量大约各乘几倍?优先收缩提示词,还是优先换注意力写法?
参考答案
点击展开参考答案
- 一层里注意力的二次项(QKᵀ 与对 V 的加权)按 n² 走,prefill 大约×16;QKV 投影和 FFN 按 n 走,大约×4。
- Decode 每步只多 1 条 query,计算近似随 n 线性,但要读的 KV 体积也 ×4,带宽往往先爆。
- 自注意力的二次只在 prefill(以及错误地重算全序列时)完整出现,正确 decode 把历史摊进缓存。
- 决策上先砍或摘要提示通常最便宜,因为 n 同时喂二次项和 KV;提示已是最小必要集仍不够时,再上 GQA/量化或窗口注意力,而不是先换主干。
- 设头维度 Dh、头数 H、
D=H·Dh。 - Prefill 注意力 FLOPs 粗算
~ 2n²D量级(再加投影~ 4nD²量级,含 QKV 与输出投影的常数因实现而异)。