为什么需要量化?INT8 和 FP16 的区别?
题目
为什么需要量化?INT8 和 FP16 的区别?
参考答案
点击展开参考答案
- 为什么量化:FP16 模型太大、显存太贵、推理慢;量化把权重从 16-bit 浮点数压到 8-bit/4-bit 整数,显存减半甚至减到 1/4,推理速度提升。
- FP16:每个参数 2 字节,动态范围大、精度高;是模型训练和推理的默认精度。
- INT8:每个参数 1 字节,显存减半,速度提升约 2 倍;精度损失很小(通常 <1% benchmark 下降)。
- INT4:每个参数 0.5 字节,显存降到 1/4;精度损失略大,但对大模型(>30B)影响很小,是当前主流部署方案。
- 追问:量化为什么对大模型影响小?(答:大模型参数冗余度高,量化相当于一种结构化剪枝,冗余参数的精度损失不影响整体输出;小模型量化掉点明显)
- 追问:训练时能量化吗?(答:训练一般不用 INT8/4,因为梯度需要高精度;只有推理时用量化;QLoRA 是个例外——基座 4-bit 但 LoRA 参数 FP16)