跳到主要内容

7B 全量微调走 bf16 与 Adam,80GB 单卡在 Adam 状态刚建完、第一步尚未开始就 OOM。把每参数占用的字节摊开记账,LoRA 与 QLoRA 各从显存账上划掉哪几行?

模型选型与微调中级微调

题目​

7B 全量微调走 bf16 与 Adam,80GB 单卡在 Adam 状态刚建完、第一步尚未开始就 OOM。把每参数占用的字节摊开记账,LoRA 与 QLoRA 各从显存账上划掉哪几行?

参考答案​