意图分类日调用量约五百万,全部送进 70B 会贵且慢。第一跳小模型该选多大参数量,哪些在线信号出现才把流量交给大模型?
题目
意图分类日调用量约五百万,全部送进 70B 会贵且慢。第一跳小模型该选多大参数量,哪些在线信号出现才把流量交给大模型?
参考答案
点击展开参考答案
- 意图分类、槽位抽取、安全初筛这类闭集决策,通常几亿到大约十亿参数、针对本任务微调的小模型就能先接住,因为标签空间有限,并不需要大模型的开放生成。
- 先用自己的业务评测集比质量、p95 延迟和单次成本,不要用通用聊天榜。
- 升级条件写成事先约定的不确定度:分类熵高、槽位校验失败、用户连续改口,或命中高风险意图,再把原文交给大模型,而不是随机抽成。
- 「小」没有法定阈值,实践中常指能在单张消费级加速器或端侧芯片上以数十到一两百毫秒跑完的模型,参数大致从几亿到十几亿;也有团队把 7B 级仍当小模型用。
- 它们靠更干净的数据、蒸馏和更长训练,在窄任务上逼近大模型,但世界知识、多步推理和长尾说法弱。