Agent 性能优化如何做限流和背压?本页总览如何做限流和背压?Agent 性能优化中级性能优化 题目 如何做限流和背压? 参考答案 点击展开参考答案 Agent 请求成本差异大,限流不应只按 QPS;可按预计输入/输出 Token、工具扇出、Sandbox 时长和风险设置权重。 入口、租户、模型、工具和 worker 队列分层配额,交互与批处理分池。 队列必须有界,超过容量时快速拒绝、延迟调度或降级,而不是内部无限排队到超时。 下游 429、队列等待和模型剩余配额应反馈给上游;高优先级也需防止长期饿死低优先级。 监控排队、拒绝、完成吞吐和租户公平性。