GPTQ 和 AWQ 的区别?
题目
GPTQ 和 AWQ 的区别?
参考答案
点击展开参考答案
- GPTQ:一种训练后量化(PTQ)方法,逐层量化,逐列误差补偿;基于二阶信息(Hessian 矩阵)最小化量化误差;效果好但实现复杂。
- AWQ(Activation-aware Weight Quantization):发现不是所有权重都同等重要——保护 1%~10% 的"显著权重"(和激活值大小相关的),其余正常量化;不需要逐层误差补偿,速度快很多。
- 核心区别:GPTQ 从数学上最小化量化误差;AWQ 从"哪些权重更重要"出发做保护。实际效果两者相当,AWQ 量化速度更快、推理时 kernel 优化更好。
- 选型经验:追求速度和易用性选 AWQ;追求极限精度选 GPTQ。
- 追问:为什么激活值大的权重更重要?(答:因为权重的实际贡献 = 权重 × 激活值;激活值大的通道上的权重对输出影响大,量化这些权重误差会被放大)
- 追问:量化后的模型能再微调吗?(答:可以,QLoRA 就是 4-bit 基座 + LoRA 微调;但全参量化微调不常见)