离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?
题目
离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?
参考答案
点击展开参考答案
- FP16/BF16 是浮点格式,改的是尾数和指数宽度,矩阵乘有舍入,但很少把罕见标识符的 logit 整段抹平。
- INT8/INT4 把数值范围装进很短的整数格子,靠 scale(以及常有的 zero-point)还原,离群权重和尖激活会饱和。
- 选择题还能靠语义簇选对字母;要逐字抄条款号、人名、代码时,被裁掉的精细 logit 会让流畅的幻觉压过原文。
- 应用「必须能引用」的集合决定哪些层留在更高精度,而不是看通用准确率是否接近。
- FP16:5 位指数、10 位尾数,精度好、范围窄于 FP32,偶发溢出、多见舍入。
- BF16:8 位指数(范围接近 FP32)、7 位尾数,训练更爱用它的范围;推理上和 FP16 通常接近,但不是位级相同。