全参微调 vs LoRA 的区别?各自适用场景?
题目
全参微调 vs LoRA 的区别?各自适用场景?
参考答案
点击展开参考答案
- 全参微调(Full Fine-Tuning):更新模型所有参数;效果最好,但显存占用巨大(7B 模型需要 ~80GB 显存),训练慢。
- LoRA(Low-Rank Adaptation):冻结原始模型参数,只在注意力层注入低秩分解的小矩阵 A 和 B(W' = W + BA);可训练参数通常 < 1%,显存大幅降低,训练快。
- 适用场景:(a) 全参微调——数据量大(>10万条)、追求极致效果、有充足算力;(b) LoRA——数据量中等(几千~几万条)、算力有限、需要快速迭代、多任务多 LoRA 切换。
- 推理时 LoRA 可以合并回原权重(W + BA),不增加推理延迟。
- 追问:LoRA 为什么有效?(答:微调时权重的变化量是低秩的——虽然模型很大,但适应新任务时实际改变的"方向"很少,用低秩矩阵就能拟合这个变化)
- 追问:LoRA 一般加在哪些层?(答:默认加在注意力的 Q/V 投影矩阵;也可以加在 K/O/MLP 层;加的层越多效果越好但参数也越多)