数学题和工具 JSON 成批坏掉,闲聊分却几乎不动——权重量到了 INT4。该把敏感层拉回更高精度、扩充校准集,还是把这类请求从 4bit 副本上拿掉?
题目
数学题和工具 JSON 成批坏掉,闲聊分却几乎不动——权重量到了 INT4。该把敏感层拉回更高精度、扩充校准集,还是把这类请求从 4bit 副本上拿掉?
参考答案
点击展开参考答案
- 平均闲聊分掩盖的是尾部分布:INT4 对流畅性往往够用,对需要精确累加和严格 schema 的任务,误差会在层间放大。
- 先按切片看数学、代码、长上下文、工具 JSON 是否同时坏;若只是括号和数字,优先混合精度(
lm_head、首尾层、归一化仍用更高位)和覆盖这些模式的校准;若推理链中间就已经算错,4bit 副本不该接这类路由,应留给 INT8/FP16 或未量化模型。 - 不要在已经失真的 4bit 上靠再多标一点闲聊挽回算术。
- 训练后量化用一小批校准数据估缩放和零点(或等价参数),校准若全是对话,激活分布就覆盖不到长数字和特殊符号,量化噪声会打在这些通道上。
- 经验上(示意,视方法和模型):
lm_head和 embedding 对 token 选择极敏感,很多实现会保持更高精度;注意力输出和 MLP 的离群通道是需要保护的对象。