模型选型与微调LoRA 微调比全量微调更慢吗?本页总览LoRA 微调比全量微调更慢吗?模型选型与微调中级微调 题目 LoRA 微调比全量微调更慢吗? 参考答案 点击展开参考答案 LoRA减少可训练参数、参数梯度和优化器状态,但仍经过冻结主干计算,单步训练不保证更快。 追问方向:可继续讨论线性层输入梯度、checkpointing、通信和QLoRA区别。