主模型接口的 p95 从大约 800ms 漂到 8s,超时阈值仍是 3s。浏览器 SDK、BFF、LLM 网关、供应商官方 SDK 各自默认重试 3 次。值班看到入口 QPS 没变,模型侧却被打到约 80 倍。重试权该收在哪一层,怎样设全局重试预算,才能避免这种叠乘,又不把偶发超时当成一次故障?
题目
主模型接口的 p95 从大约 800ms 漂到 8s,超时阈值仍是 3s。浏览器 SDK、BFF、LLM 网关、供应商官方 SDK 各自默认重试 3 次。值班看到入口 QPS 没变,模型侧却被打到约 80 倍。重试权该收在哪一层,怎样设全局重试预算,才能避免这种叠乘,又不把偶发超时当成一次故障?
参考答案
点击展开参考答案
- 同一笔用户请求在整条链路上只允许一层做超时重试,其它层必须把重试次数钉成 0,并把「还剩几次」写进向下传的预算头。
- 默认收在 LLM 网关:它看得见供应商的 429/
Retry-After、幂等键和是否已经向用户流过首 token。 - 浏览器和 BFF 对 5xx/超时只许失败上报,禁止自动再打;供应商 SDK 关掉自带重试或设为 1 且尊重预算头。
- 预算耗尽则快速失败或走已预热的降级,而不是再乘一层 3 次。
- 独立配置时期望重试次数相乘:示意按每层合计 3 次尝试算,3×3×3×3=81(若是首发之外再重试 3 次,则是 4⁴=256),再叠加「超时 3s、实际 p95=8s」——每一跳都等满 3s 再重试,模型侧会在用户已经离开之后仍被打满。
- 数据流:网关为每个
request_id分配retry_budget(示意:幂等读最多 2 次额外尝试,合计 3 次;已经吐出首 token 的流式写为 0)→ 下游 SDK 读该头,减到 0 就不再发。