跳到主要内容

主模型接口的 p95 从大约 800ms 漂到 8s,超时阈值仍是 3s。浏览器 SDK、BFF、LLM 网关、供应商官方 SDK 各自默认重试 3 次。值班看到入口 QPS 没变,模型侧却被打到约 80 倍。重试权该收在哪一层,怎样设全局重试预算,才能避免这种叠乘,又不把偶发超时当成一次故障?

Agent 工程化与运行环境中级成本

题目​

主模型接口的 p95 从大约 800ms 漂到 8s,超时阈值仍是 3s。浏览器 SDK、BFF、LLM 网关、供应商官方 SDK 各自默认重试 3 次。值班看到入口 QPS 没变,模型侧却被打到约 80 倍。重试权该收在哪一层,怎样设全局重试预算,才能避免这种叠乘,又不把偶发超时当成一次故障?

参考答案​