Agent 性能优化如何做容量规划?本页总览如何做容量规划?Agent 性能优化中级规划 题目 如何做容量规划? 参考答案 点击展开参考答案 先按真实场景分布估算每任务模型轮次、输入/输出 Token、工具扇出、Sandbox 资源和服务时间,分别看平均与高分位。 Little 定律可估 并发≈到达率×驻留时间,但长尾、审批等待和供应商 TPM/RPM 要单独建模。 对模型、向量库、队列、数据库、连接池和第三方配额做分层压测,再做端到端阶梯、突发和长稳压。 容量上限定义为目标 SLO 下的安全吞吐,并预留故障、灰度和重试冗余,而不是系统崩溃点。