QLoRA 的核心创新是什么?
题目
QLoRA 的核心创新是什么?
参考答案
点击展开参考答案
- QLoRA = 4-bit 量化基座模型 + LoRA 微调。基座模型用 4-bit NormalFloat 量化冻结,只训练 LoRA 的 FP16 参数。
- 核心技术:(a) 4-bit NormalFloat 量化:一种新的量化数据类型,比 INT4 更稳定;(b) Double Quantization:对量化常数本身再做一次量化,省显存;(c) Paged Optimizers:用 NVIDIA 统一内存处理显存峰值。
- 效果:在单张 48GB 显卡上微调 65B 模型,效果和全参微调 FP16 差不多;大幅降低微调门槛。
- 局限:4-bit 基座有轻微精度损失;训练速度比 FP16 LoRA 慢(反量化开销)。
- 追问:QLoRA 和普通 LoRA 区别?(答:普通 LoRA 基座是 FP16,QLoRA 基座是 4-bit 量化的;QLoRA 显存占用约为普通 LoRA 的 1/3)
- 追问:为什么 QLoRA 效果几乎不损失?(答:因为梯度只在 LoRA 的 FP16 参数上流动,基座量化只是前向传播时的近似,反向传播不受影响)