FlashAttention 的核心思想是什么?为什么比标准注意力快?
题目
FlashAttention 的核心思想是什么?为什么比标准注意力快?
参考答案
点击展开参考答案
- 核心问题:标准注意力需要把完整的 n×n 注意力矩阵写入 HBM(显存)再读回来,这是 IO 瓶颈——计算量是 O(n²d),但 IO 量更大,GPU 算力利用率很低。
- FlashAttention 做法:分块(tiling)计算,把 Q/K/V 切成小块加载到 SRAM(片上高速缓存),在 SRAM 内完成局部注意力计算并直接更新输出矩阵,不把完整的 n×n 矩阵写回 HBM。
- 关键技巧:online softmax(分块时动态维护 max 和 sum,不需要等全量数据再算 softmax);反向传播时不存储注意力矩阵,重计算(recomputation)节省显存。
- 效果:速度提升 2~4 倍,显存从 O(n²) 降到 O(n),支持更长上下文;数学结果和标准注意力完全一致(精确注意力,不是近似)。
- 追问:FlashAttention 是近似算法吗?(答:不是,是精确注意力的 IO 感知重排,数学结果与标准实现逐位对齐)
- 追问:FlashAttention v2 相比 v1 改进了什么?(答:更好的并行化策略(batch×head 并行)、减少 GPU 同步开销、更好地利用 tensor core,速度再提 2 倍左右)