分类器对粤语、中英混写的工单自动关掉的比例远超普通话。要用哪些分层切片来证明关单率差异站得住?眼前拧阈值还是换模型,日后补哪些标注?
题目
分类器对粤语、中英混写的工单自动关掉的比例远超普通话。要用哪些分层切片来证明关单率差异站得住?眼前拧阈值还是换模型,日后补哪些标注?
参考答案
点击展开参考答案
- 先在相同意图、相同产品、相近长度的分层里比较自动关单率、人工打回率和客户再开单率,排除「这类工单本来就简单」的混杂。
- 若粤语切片关单高,打回和再开也高,就是质量不均,不是渠道结构。
- 短期只动可回滚旋钮:提高该切片的关单阈值,或把低置信样本改路由到人工。
- 中期查语言识别、分词和向量近邻是否把方言当噪声。
- 分类器偏见常表现为阈值对不同群体校准失败。
- 数据流:文本 → 语言识别 → 编码器 → 关单分数 → 阈值。