7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?
题目
7B 聊天模型要靠训练后量化上到 4 bit 生产——不许重训、窗口只有一周。做得到吗?若再压到 2 bit,哪一类能力会先裂?
参考答案
点击展开参考答案
- 一周且不重训,路径只能是训练后量化(PTQ):用一小份校准数据估每层或每组的 scale,把已有权重写成 4 bit 码本,再在对话、数学、代码、安全拒答集上对比。
- 4 bit 配分组量化(例如每 64/128 个权重一个 scale)并保护离群通道,不少 7B 级模型可以上线,但必须看业务集而不是只看困惑度。
- 2 bit 有效码本大约 4 个值,误差不再是「差一点」;推理链、算术进位、罕见专有名词会先断。
- 没有量化感知训练(QAT)或更重的补偿,2 bit 不该当生产默认。
- PTQ 不回传梯度,墙钟是校准前向(示意:几百到几千条样本)加一次写权重,适合冻结的开源权重。
- QAT 在训练里对前向量化、用直通估计器回传,让权重学会待在可量化的格子里,精度更好,但需要数据和 GPU 时间,一周还要冻评测通常排不进。