SLA 只有 2 秒,但 Agent 需要三个工具调用,如何优化?
题目
SLA 只有 2 秒,但 Agent 需要三个工具调用,如何优化?
参考答案
点击展开参考答案
- 先分解预算:网关、模型 TTFT、工具排队/执行、最终生成分别能用多少时间。
- 三个工具无依赖时并行,并把结果一次性回填模型;有依赖时考虑把稳定逻辑下沉为聚合 API,减少模型往返。
- 使用小模型完成路由/抽取,缓存稳定前缀与只读结果,并设置每个工具短于总 deadline 的超时。
- 流式输出只能改善感知时延,不能改变完整结果 SLA。
- 若业务必须在 2 秒内返回,可先给确定性初始结果或 job ID,把复杂任务异步化;不能通过隐藏超时或返回未经验证的猜测“达标”。
- 优化验收同时看 P99、成功率、缓存命中和降级质量。