LoRA 的 rank (r) 和 alpha 怎么设置?
题目
LoRA 的 rank (r) 和 alpha 怎么设置?
参考答案
点击展开参考答案
- r(秩):控制 LoRA 分支的表达能力;r 越大参数越多、容量越大,但也越容易过拟合。常用值:r=8(轻量任务)、r=16
32(中等任务)、r=64128(复杂任务/大模型)。 - α(缩放系数):实际缩放是 α/r;常用设置是 α = 2r,这样实际有效缩放 = 2。
- 经验法则:小任务(分类、风格迁移)用 r=8 就够;复杂任务(领域对话、多技能融合)用 r=32~64。
- 选 r 的思路:先从 r=16 开始试,效果不够再加;r 加倍带来的边际收益递减,但显存和训练时间线性增加。
- 追问:LoRA 加在哪些层效果最好?(答:一般 Q/V 投影最关键;追求效果可以加到所有线性层(Q/K/V/O + gate/up/down);追求速度只加 Q/V)