主厂商合约 30 天后结束。备援的 tokenizer 与工具 JSON 合不上。怎样迁走流量且写请求不丢,并保证故障后一分钟内能切回?
题目
主厂商合约 30 天后结束。备援的 tokenizer 与工具 JSON 合不上。怎样迁走流量且写请求不丢,并保证故障后一分钟内能切回?
参考答案
点击展开参考答案
- 在网关把业务消息、工具 schema、错误码、流式事件收成自己的协议,供应商差异留在适配器里,调用方不直接绑某一家的 URL 和字段名。
- 先用离线评测加影子流量量出工具调用格式、拒答率和超长提示截断差,再按 1%→10%→50% 切流,功能开关必须能在一分钟内把路由拨回主路。
- Tokenizer 和上下文上限不同,意味着同一段文本的计费和能否塞进窗口都要按目标模型重算,不能沿用旧 token 计数做截断。
- 切换失败几乎总是协议而不是「模型笨一点」:函数名大小写、JSON 是否允许多余字段、并行工具调用、
finish_reason、流式 delta 的分片方式。 - 适配器要做消息角色映射、工具声明转换、输出 JSON 修复或语法约束,并把对方的限流和内容过滤错误翻译成本地错误码。