如何设计 AI 应用全链路压测?
题目
如何设计 AI 应用全链路压测?
参考答案
点击展开参考答案
- 先定义目标不是“打到崩溃”,而是在质量和安全 SLO 下找出安全容量、长尾来源与降级拐点。
- 压测范围覆盖接入网关、Agent Runtime、上下文/RAG、模型 Gateway、Tool/Sandbox、状态库、缓存、队列和流式连接。
- 从脱敏线上 trace 提取场景占比、到达过程、会话轮数、上下文长度、输入/输出 Token、Agent 步数、Tool 扇出、读写比例和长任务驻留时间;保留平均值与高分位,区分交互、批处理、审批等待和不同租户。
- 固定 QPS 的单轮短请求不能代表 Agent 流量。
- 生产拓扑和限额尽量同构,但使用测试租户、影子索引、模拟账户和无副作用 Tool;下游支持录制回放、可控 stub 与 staging 三种模式。
- 模型供应商的 RPM/TPM、并发、计费和区域限制写入测试约束,数据不得含生产凭证和敏感信息。
- 先分别测模型 prefill/decode、检索、数据库、Tool、Sandbox 冷启动和队列服务曲线,再做完整 Agent 链路;否则端到端变慢时无法归因。