模型选型与微调中级模型选型与微
模型降级怎么设计?
参考答案
点击展开参考答案
- 降级必须基于能力矩阵,而不是把模型名称随意替换。
- 触发条件包括超时、429、区域故障、预算和上下文不兼容;切换后可能需要更换 Prompt、缩短上下文、关闭非关键步骤或禁用某些工具。
- 高风险任务若备用模型未通过相同质量/安全基线,应失败或转人工。
- 监控降级触发原因、降级后成功率、事实错误、P99 和成本,防止“可用性提高但质量失控”。
- 上线前对备用路径单独跑质量、安全和工具兼容回归,并定期故障演练;否则真正故障时才发现备用模型不会调用关键工具,降级方案等同于不存在。