跳到主要内容

正向激活掉一半、反向变慢且峰值显存回升,发生在打开 FlashAttention 之后。tiled 核在反传里重算哪张矩阵,多短的序列会亏?

模型选型与微调中级模型选型与微

题目​

正向激活掉一半、反向变慢且峰值显存回升,发生在打开 FlashAttention 之后。tiled 核在反传里重算哪张矩阵,多短的序列会亏?

参考答案​