7B 全量微调走 bf16 与 Adam,80GB 单卡在 Adam 状态刚建完、第一步尚未开始就 OOM。把每参数占用的字节摊开记账,LoRA 与 QLoRA 各从显存账上划掉哪几行?
题目
7B 全量微调走 bf16 与 Adam,80GB 单卡在 Adam 状态刚建完、第一步尚未开始就 OOM。把每参数占用的字节摊开记账,LoRA 与 QLoRA 各从显存账上划掉哪几行?
参考答案
点击展开参考答案
- 优化器初始化就要为每个可训练参数挂上主权重和 Adam 的两份矩,这笔账在第一次前向之前就会爆。
- 按常见混合精度记账(示意):每参数约 bf16 权重 2 字节 + bf16 梯度 2 字节 + fp32 主副本 4 字节 + Adam m/v 各 4 字节 ≈ 16 字节;7×10⁹ × 16 ≈ 112GB,一张 80GB 卡在参数状态这一栏就已经放不下,还不含激活。
- LoRA 把「可训练参数」从 7B 收到百万到千万级,基座只以冻结权重占显存(bf16 大约 14GB)。
- QLoRA 再把冻结基座存成 4-bit(大约 3.5GB 加少量量化常数),省的是基座存储栏,不是把全部计算变成 4-bit。
- 全参数这 16 字节是「状态」,不是「算力」:Adam 的一阶/二阶矩按参数各一份 fp32,所以 7B 光矩就是 56GB,加上 fp32 主权重 28GB、bf16 权重与梯度各 14GB。
- 有的实现不保留 fp32 主副本,降到大约 12 字节/参数 ≈ 84GB,对 80GB 仍然贴边,只要再分配激活或临时缓冲就会 OOM。