闭集 20 类工单路由,什么情况下该用分类器给固定标签打分,而不是让生成式模型吐类名?校准后的概率如何决定自动处理或交人工?
题目
闭集 20 类工单路由,什么情况下该用分类器给固定标签打分,而不是让生成式模型吐类名?校准后的概率如何决定自动处理或交人工?
参考答案
点击展开参考答案
- 当输出必须落在闭集、需要稳定延迟和可设阈值的置信度时,用分类器对固定标签打分,比让生成模型自由写出类名更合适:不会出现拼错的类名或额外解释,一次前向即可,概率也能单独校准。
- 生成模型留给还要写回复或做开放推理的步骤。
- 自动处理只在校准后的最大类概率超过你在验证集上标定的阈值、且不属于高风险类时执行,否则转人工或升级到生成模型。
- 让模型生成类别名的典型故障是别称、多余标点、偶发拒答,后面还得再写解析;采样开启时同一张单还可能抖到邻类。
- 闭集分类头在固定维 logits 上做 softmax,解析成本为零,但永远可能选错类——格式不出错不等于类别正确。