跳到主要内容

默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?

Agent 性能优化初级性能优化

题目​

默认把流量送到 8B,怎样避免合同审查被静默分流到小模型?网关后同时挂着 8B 与 70B 时,这和副本间负载均衡的差别在哪?

参考答案​