跳到主要内容

7B 全参 bf16 微调,序列 4k、微批 2,激活把一张 80GB 卡打满;优化器状态已经用 FSDP 切开。打开激活重计算:用多少额外前向换多少激活显存?注意力、FFN、嵌入哪些层值得重算?怎样估吞吐是升是降?

模型选型与微调中级微调

题目​

7B 全参 bf16 微调,序列 4k、微批 2,激活把一张 80GB 卡打满;优化器状态已经用 FSDP 切开。打开激活重计算:用多少额外前向换多少激活显存?注意力、FFN、嵌入哪些层值得重算?怎样估吞吐是升是降?

参考答案​