主路模型那一区接连 12 分钟回 5xx。手册里才有备用厂商,真实工具调用从未跑过。探活与预热得覆盖厂商间哪些差异,故障切换才能自动发生?
题目
主路模型那一区接连 12 分钟回 5xx。手册里才有备用厂商,真实工具调用从未跑过。探活与预热得覆盖厂商间哪些差异,故障切换才能自动发生?
参考答案
点击展开参考答案
- 纸面备用在故障当天不可用,通常是因为工具 schema、鉴权、区域配额和提示缓存都没被真实流量打过。
- 活容灾要求:持续用合成探针走完整的「带工具的一次生成」,并始终把一小股生产影子或金丝雀打到备用;自动切流看错误率和关键路径成功率,不是端口探活。
- 切过去之后还要能接受质量略降和缓存全冷,关键业务必须另有非 LLM 兜底(规则、检索原文、人工)。
- 12 分钟区域故障足够让只依赖一家的同步对话全死。
- 备用路径的差异清单:①API 协议与工具 JSON;②内容过滤松紧;③上下文上限和 tokenizer;④该区域的 RPM/TPM 是否真的开通且不是很小的试用额;⑤密钥和网络出方向是否在故障域之外。