搞调研的内部 agent 三天内把当月 token 额度烧光。网关只限制 QPS,根本没挡住。限额要在租户、模型、工具和预估花费上如何叠起来?
题目
搞调研的内部 agent 三天内把当月 token 额度烧光。网关只限制 QPS,根本没挡住。限额要在租户、模型、工具和预估花费上如何叠起来?
参考答案
点击展开参考答案
- 每秒请求数限制的是调用次数,智能体循环是“请求不多、上下文很长、工具很多、自调用很多”,所以必须按预估 token 和预估金额做准入。
- 分层是:租户日/月预算硬顶 → 应用或工作空间配额 → 按模型单价分档(越贵越严)→ 单请求 token 上限和最大步数 → 搜索、浏览、代码执行等工具的独立配额。
- 超限则拒绝、改走小模型或排队,不允许默默透支。
- 强制点在网关和编排器,不在模型“自己省着花”。
- 预估输入约为提示加历史加工具回灌,输出按本次允许的最大生成长度计最坏情况,工具按次或按返回字节计价。
- 下发前做准入:预估超过剩余预算就拒绝或改便宜路由。