跳到主要内容

显存被 Adam 的 m 与 v 顶满,这是在 70B 微调里发生的。FSDP 与 ZeRO-3 分别如何切开权重、梯度和优化器状态?何时该用这种全分片,而不是改成按层切的流水线?

模型选型与微调中级微调

题目​

显存被 Adam 的 m 与 v 顶满,这是在 70B 微调里发生的。FSDP 与 ZeRO-3 分别如何切开权重、梯度和优化器状态?何时该用这种全分片,而不是改成按层切的流水线?

参考答案​