有一个工单分类器,验收看的是准确率与 AUC,上周刚通过。现在有人打算把这块看板原样照搬给生成式客服助手。哪些面板会当场失去意义,各自该换成什么指标?
题目
有一个工单分类器,验收看的是准确率与 AUC,上周刚通过。现在有人打算把这块看板原样照搬给生成式客服助手。哪些面板会当场失去意义,各自该换成什么指标?
参考答案
点击展开参考答案
- 准确率和 AUC 假定封闭标签和可排序的类别分数,生成式客服没有这两样:回复是开放文本,也常常没有校准好的“正确类概率”。
- 看板会立刻空掉混淆矩阵,或把评审模型的标量分误当成 AUC。
- 替换成按检查项的多维通过率、引用是否落在检索证据里、格式可解析率、安全拒答,以及人审与机评的一致率,再另挂成本和延迟。
- 分类器评估:持出集上标签属于有限类,模型给出 logits,准确率、F1、AUC、校准误差都有定义,重复跑几乎确定。
- 生成式应用:同一工单可以有多种合格回复,输出随温度、提示、检索文档和工具结果变;系统是检索、提示、模型、护栏接起来的管子,不是一个分类头。