跳到主要内容

离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?

Agent 性能优化中级评测

题目​

离线选择题分数差不多,可一要求把召回段落里的条款号逐字抄出来,INT4 包就开始瞎编编号。同一套 7B 分别打成 FP16 的服务端构建和 INT4 的端侧包时,半精度浮点(BF16 或 FP16)和整数量化(INT8 或 INT4)破坏的误差类型为何不是同一类,该拿哪类评测来决定哪些层保持更高位宽?

参考答案​