周级调研每步回灌完整轨迹,token 费用一天翻一倍。先换成更便宜的模型为什么不是正确的第一步,砍上下文该按什么顺序?
题目
周级调研每步回灌完整轨迹,token 费用一天翻一倍。先换成更便宜的模型为什么不是正确的第一步,砍上下文该按什么顺序?
参考答案
点击展开参考答案
- 先按“这一步决策必须看见什么”拆上下文,而不是先换单价更低的模型。
- 周级任务的账单通常被三块吃掉:累积的工具原文、从未折叠的中间推理、以及每步重复粘贴的系统提示和工具 schema。
- 换便宜模型不缩短这三块,还可能因能力下降多走几轮,日账单更高。
- 正确顺序是:工具结果先截断并结构化 → 历史轨迹折叠成检查点摘要 → 系统提示和工具列表按阶段裁剪 → 最后才把封闭步骤路由到小模型。
- 每步输入 ≈ 系统提示 + 工具 schema + 任务目标 + 状态摘要 + 最近观察。
- 若每天约 200 步、每步回灌约 8k token 的完整日志,仅输入侧就约 1.6×10⁶ token/天;输出按每步约 400 token 计只有约 8×10⁴,主因在输入累积。