7B 全参 bf16 微调,序列 4k、微批 2,激活把一张 80GB 卡打满;优化器状态已经用 FSDP 切开。打开激活重计算:用多少额外前向换多少激活显存?注意力、FFN、嵌入哪些层值得重算?怎样估吞吐是升是降?
题目
7B 全参 bf16 微调,序列 4k、微批 2,激活把一张 80GB 卡打满;优化器状态已经用 FSDP 切开。打开激活重计算:用多少额外前向换多少激活显存?注意力、FFN、嵌入哪些层值得重算?怎样估吞吐是升是降?
参考答案
点击展开参考答案
- 按块只保存进入 Transformer 块的那份隐状态,反传时把该块前向重做一遍再求梯度。
- 相对「每层每张中间激活都留着」,激活峰值往往能掉一个数量级的一截(示意:从「层数 × 每层激活」收到「检查点个数 × 一块重算工作区」),额外计算大约是再付一次被检查点覆盖的前向。
- FFN 的中间宽激活最值得丢了重算;嵌入很小,不值得;注意力若已经用分块核、本来就不物化 n×n,再包一层整块重算会双重付费。
- 若重算后能把微批从 2 提到 4 或把序列撑满,tokens/s 常常上升;已经打满算力、batch 不能再涨时,你只是买了约 20%–40% 的步时(示意,以剖析为准)。
- 7B、4k、微批 2 时,每层残差流大约是
2 × 4096 × d量级,FFN 中间(SwiGLU 三投影)还要再乘膨胀比,叠几十层就比切开后的优化器切片更肥,这才是这道题的墙——不是 Adam。 - 全量保存:激活随 L 线性涨。