Agent 性能优化中级性能优化
为什么重试可能让系统更不稳定?
参考答案
点击展开参考答案
- 多层重试会乘法放大:模型 SDK、业务服务、网关和 Agent 若各尝试 3 次,底层最坏可能收到 $3^4$ 次调用。
- 故障时额外流量加剧排队,形成 retry storm。
- 应选择一个最接近依赖且最可观测的层重试,其他层关闭;只重试瞬时错误,使用指数退避、jitter、
Retry-After 和全局 retry budget,且不超过剩余 deadline。
- 写操作必须有下游幂等或先查状态;熔断打开时禁止继续重试。