评审误把「线性层旁边再挂小稠密块」叫做 LoRA。合并进原权重后,为何解码计算图仍与基座相同?真正多出来的是哪两个矩阵,谁必须保持冻结?
题目
评审误把「线性层旁边再挂小稠密块」叫做 LoRA。合并进原权重后,为何解码计算图仍与基座相同?真正多出来的是哪两个矩阵,谁必须保持冻结?
参考答案
点击展开参考答案
- LoRA 不另开一层非线性,而是用两个瘦矩阵逼近增量:对冻结的 W₀ ∈ R^{d×k},学习 B ∈ R^{d×r}、A ∈ R^{r×k}(r ≪ min(d,k)),前向是 y = W₀x + (α/r) BAx。
- 只有 A、B 走梯度;W₀ 冻结,否则这就不是低秩适配而是全量再加附件。
- 因为 ΔW = (α/r)BA 与 W₀ 同形,部署时可写成 W′ = W₀ + ΔW 后丢掉 A、B,解码仍是一次原规格矩阵乘,没有额外层、也没有额外序列长度。
- 常见挂点是自注意力的 q、v 投影,有时再加 k、o 或 MLP 的门控/上投影。
- 以宽度约 4096、约 32 层的 7B 量级为例,只在 q、v 上用 r=8,可训参数是百万量级而不是 7×10⁹。