某 Agent 峰值时 P99 从 8 秒上升到 45 秒,如何排查?
题目
某 Agent 峰值时 P99 从 8 秒上升到 45 秒,如何排查?
参考答案
点击展开参考答案
- 排查遵循“确认影响—止损—分解关键路径—验证根因—压测防复发”。
-
- 统一口径与范围:确认是端到端 P99、TTFT 还是某个节点的 P99;按场景、租户、模型、区域、版本和上下文长度切片,比较正常与异常时间窗。
- 同步查看 QPS、并发、成功率、超时、队列和成本,排除埋点变化。
-
- 先止损:保护交互核心流量,限制新长任务和单租户并发,关闭非关键分支,熔断异常工具,必要时切经过评测的模型/区域;不能简单扩大 timeout,让请求在队列里等待更久。
-
- 分解关键路径:用 trace 拆成入口排队、Context Builder、模型排队/prefill/decode、RAG、每个 Tool、Sandbox、重试和人工等待。
- 并行分支看最慢路径,不把所有 span 相加。
- 比较异常 run 的步骤数、输入 Token、Tool 扇出和重复动作。