Token 成本一夜翻三倍但没有发布,如何定位?
题目
Token 成本一夜翻三倍但没有发布,如何定位?
参考答案
点击展开参考答案
- 先把总成本拆成
请求量 × 每请求模型调用数 × 每调用输入/输出 Token × 单价。 - 判断是流量增加,还是单请求成本增加。
- 流量不变但输入 Token 上升,常见原因是上下文未压缩、工具返回变大、缓存失效或重试重复携带全量历史;调用数上升则检查循环、工具超时和路由降级。
- 按租户、功能、模型、Prompt 版本、工具和错误码切片,并关联缓存命中、平均步数、上下文长度和重试放大。
- 设置每 run/租户预算、异常增长告警和 kill switch。
- 先止损再定位,但不能只强制截断上下文导致质量隐性下降。