LoRA 的原理是什么?为什么低秩分解有效?
题目
LoRA 的原理是什么?为什么低秩分解有效?
参考答案
点击展开参考答案
- 原始权重矩阵 W ∈ R^{d×k},冻结不动。
- 注入低秩矩阵:W' = W + ΔW,其中 ΔW = B·A,A ∈ R^{r×k},B ∈ R^{d×r},r << min(d,k)(如 r=8 或 16)。
- 可训练参数量:d×r + r×k,相比原始 d×k 减少了 (r/min(d,k)) 倍;比如 d=k=4096, r=8,参数量从 16M 降到 65K。
- 低秩有效的原因:研究表明大模型微调时权重更新的"内在秩"很低——适应新任务只需要改变少数几个方向,低秩分解足以捕获。
- 缩放因子 α:实际 ΔW = (α/r) · BA,α 控制 LoRA 分支的贡献强度,常用 α = 2r。
- 追问:训练完 LoRA 后怎么部署?(答:推理时可以把 BA 合并进 W:W_merged = W + (α/r)·BA,和原模型结构完全一致,无额外延迟)
- 追问:LoRA 的 r 越大越好吗?(答:不是,r 太大会过拟合、训练变慢;常用 r=8~64;r=8 已经能覆盖大部分任务)