模型选型与微调稠密注意力的算术量会不会因为上了 FlashAttention 就变成随 n 线性增长?本页总览稠密注意力的算术量会不会因为上了 FlashAttention 就变成随 n 线性增长?模型选型与微调中级模型选型与微 题目 稠密注意力的算术量会不会因为上了 FlashAttention 就变成随 n 线性增长? 参考答案 点击展开参考答案 它通过分块和在线 softmax 避免物化完整注意力矩阵,减少显存读写及中间存储;标准稠密注意力的算术工作量仍随序列长度近似二次增长。 区分峰值显存、HBM 流量、算术复杂度与实测运行时间。