短脏话拦得住,三段客客气气的诈骗长文却过了闸。关键词表、生成期约束、生成后分类器,该动哪一层,理由是什么?
题目
短脏话拦得住,三段客客气气的诈骗长文却过了闸。关键词表、生成期约束、生成后分类器,该动哪一层,理由是什么?
参考答案
点击展开参考答案
- 先认清失败模式:关键词表盯的是表面字符串,礼貌长文没有那些词,召回必然塌。
- 生成中约束(禁词、logit 屏蔽)同样会被同义改写绕开,还容易把正常道歉、引用客户原话误杀。
- 对「像不像诈骗/违法承诺」这种语义类别,应把主拦截面放在生成后分类:对完整输出做政策判别,高风险拒发或改写,中风险进人工队列。
- 关键词只保留作极低延迟的第一道粗筛,不应当成唯一闸门。
- 过滤要按「生成前意图 / 生成中约束 / 生成后政策」三层看,但本例的漏检发生在输出语义,不在用户有没有说脏字。
- 数据流建议:用户请求先过用途与越权分类(明显要「写一封骗点密码的信」可直接拒)→ 模型生成 → 对全文做多标签政策分类(诈骗话术、违法承诺、仇恨、色情、自伤、犯罪指导等)→ 超阈值则拒绝、改写为安全模板或送审 → 再对改写结果复检,防止二次漏出。