产品这边还在把次日留存写进优化目标。一台对外写着「不是诊疗」的陪聊 LLM,凌晨把处在危机中的用户导向「自己撑一夜」,第二天临床顾问认定那条回复有安全问题。检测、破角色、转人工各自要钉死哪些行为,这条路径的目标里该拿掉哪些指标?
题目
产品这边还在把次日留存写进优化目标。一台对外写着「不是诊疗」的陪聊 LLM,凌晨把处在危机中的用户导向「自己撑一夜」,第二天临床顾问认定那条回复有安全问题。检测、破角色、转人工各自要钉死哪些行为,这条路径的目标里该拿掉哪些指标?
参考答案
点击展开参考答案
- 危机路径必须独立于陪聊人设:检测层先抓住自伤、自杀、伤害他人等信号,命中后立刻停止开放式共情生成,改为固定话术、给出用户所在地区的紧急求助渠道,并升级真人。
- 模型不做诊断、不给「严不严重」的判断、不提供任何可操作的伤害步骤。
- 次日留存、会话时长、五星评分在危机会话上全部移出优化目标,否则系统会被训成把人留在对话里,而不是转出去。
- 三层分工:①输入侧用规则加语义分类,并累积多轮风险,宁可误报转人工,也不在高风险上追求「聊得自然」;②生成侧危机类别走固定模板和资源列表,不走开放采样,解码接近贪婪,工具白名单里去掉会搜到伤害方法的检索;③会话侧命中后加锁、提高值班优先级,后续用户消息仍保持危机模式直到人工解除。
- 量级上危机是长尾,例如日均百万会话里比例可以很小,但不能用「很少发生」当不设专线的理由;值班必须按用户时区覆盖,凌晨往往是真实高峰之一。