显存被 Adam 的 m 与 v 顶满,这是在 70B 微调里发生的。FSDP 与 ZeRO-3 分别如何切开权重、梯度和优化器状态?何时该用这种全分片,而不是改成按层切的流水线?
题目
显存被 Adam 的 m 与 v 顶满,这是在 70B 微调里发生的。FSDP 与 ZeRO-3 分别如何切开权重、梯度和优化器状态?何时该用这种全分片,而不是改成按层切的流水线?
参考答案
点击展开参考答案
- 两者都把每个参数对应的「参数片 + 梯度片 + Adam 的 m/v 片」按数据并行秩切开,算到某一层或某一单元时再短时聚集参数。
- ZeRO-3 是 DeepSpeed 这条线上的全分片;FSDP 是 PyTorch 原生的同类全分片(按 wrap 单元聚集,算完再拆回)。
- 优化器状态通常是大头:Adam 的 m、v 常用 fp32,约 8 字节/参数,加上参数和梯度,未分片时常常到十几字节/参数。
- 选 FSDP 还是 ZeRO,看你要不要 DeepSpeed 的卸载和现成配置,还是留在纯 PyTorch。
- 示意:70B × 约 16 字节/参数 ≈ 1.1 TB 的训练状态(尚未计激活),8 张卡做全分片则每卡大约是百 GB 量级的状态,激活仍要另算,所以还常开激活重计算。
- ZeRO-1 只切优化器,ZeRO-2 再切梯度,通信比把参数也切开更少,适合「参数还能复制得下、只是 Adam 爆了」的中等模型;70B 的 bf16 训练通常直接走到参数也切的 ZeRO-3 或 FSDP。