正向激活掉一半、反向变慢且峰值显存回升,发生在打开 FlashAttention 之后。tiled 核在反传里重算哪张矩阵,多短的序列会亏?
题目
正向激活掉一半、反向变慢且峰值显存回升,发生在打开 FlashAttention 之后。tiled 核在反传里重算哪张矩阵,多短的序列会亏?
参考答案
点击展开参考答案
- 分块注意力故意不保存 n×n 的分数矩阵 S 和 softmax 权重 P,正向只留下 Q、K、V、输出 O,以及每行的最大值与 exp 累加(或等价的 logsumexp)。
- 反向要用 P 才能算 dV=PᵀdO、以及 softmax 的雅可比,所以每个 SRAM 块里必须从 Q、K 重算 S_ij,再用保存的行统计量还原 P_ij,然后才往 dQ/dK/dV 上累加。
- 省掉的是 O(n²) 激活,买来的是大约再做一遍注意力量级的 GEMM;序列只有几百、n×n 本来就进得了片上缓存时,分块启动和重算会比“物化再反传”更慢,峰值也可能因为同时活着的 dO、O、重算缓冲而回升。
- 注意力反向有一组常用恒等式:dP_ij = dO_i·V_j,而行归约 D_i = Σ_j P_ij dP_ij 恰好等于 dO_i·O_i,于是 dS_ij = P_ij((dO_i·V_j) − (dO_i·O_i)),再 dQ=dSK、dK=dSᵀQ、dV=PᵀdO。
- 没有 P 就写不出这些式子,所以融合核按正向同样的 (B_r, B_c) 切块,片上重放 S_ij=Q_i K_jᵀ,P_ij=exp(S_ij−m_i)/ℓ_i。