怎么评估一个新模型能不能替代现有线上模型?
题目
怎么评估一个新模型能不能替代现有线上模型?
参考答案
点击展开参考答案
-
- (a) 标准 benchmark:MMLU、C-Eval、GSM8K、HumanEval 等。
-
- (b) 业务评测集:用业务上真实的 100~500 条 case 跑对比,人工或 LLM-as-Judge 打分。
-
- (c) 延迟/成本:首 token 延迟、吞吐量、单次调用成本。
-
- (a) 先切 1%~5% 流量到新模型,监控核心指标(用户满意度、投诉率、转人工率)。
-
- (b) 逐步放量;发现问题随时回滚。
- 决策标准:效果不能下降太多(<2%)、成本/延迟要有优势、灰度数据稳定。
- 追问:为什么不能只看 benchmark?(答:benchmark 测的是通用能力,业务场景可能完全不同;一定要用业务数据做评测)