默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?
题目
默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?
参考答案
点击展开参考答案
- 路由器选的是「用哪个模型」,负载均衡选的是「同一个模型的哪台副本」。
- 默认规则应是:合同审查、长上下文对账、高风险租户等硬任务钉死 70B(或必须人工的队列),其余用便宜的 8B;再用拒答或低置信触发一次升级,而不是按 GPU 空闲把合同塞进 8B。
- 默默降级是路由事故,不是弹性成功。
- 基础设施层路由发生在鉴权与配额之后、具体推理引擎之前,输入是请求特征(任务类型、长度、租户策略、当前各模型健康与排队、成本预算),输出是模型标识和版本,然后再交给该模型的负载均衡去挑副本。
- 实现可以是规则(路径、标签、输入长度阈值)、小分类器、或级联(8B 先答,低置信或命中拒答模板再打 70B)。