推理型模型在多步演算上写中间步骤,延迟会高出一个数量级(相对普通指令模型)。哪些任务值得投入测试时计算,思考额度该怎样封顶?
题目
推理型模型在多步演算上写中间步骤,延迟会高出一个数量级(相对普通指令模型)。哪些任务值得投入测试时计算,思考额度该怎样封顶?
参考答案
点击展开参考答案
- 值得花的是中间步骤可验证、错一次代价高的任务:多步计算、必须过测试的代码、多约束规划。
- 这类模型在后训练里就被可验证奖励推着写出可检查的长推理,推理时用更多 token 换正确率,也就是测试时计算。
- 寒暄、闭集分类、检索里已有现成事实的问题不该走这条路,否则又慢又贵,还可能绕远。
- 用最大思考 token、超时或档位封顶,并按难度路由:低难度走普通指令模型。
- 提示里写「请一步步想」只改输出格式;推理型模型把「先想后答」写进训练目标,用答案对错、测试是否通过等信号学习自检和换路。
- 代价是输出从几十个 token 变成成百上千,用户等待大致随思考长度增长。