面对「这是不是痛风」,健康问答仍给出病名和用药,尽管系统提示写了不得诊断。怎样分层判断问题出在提示失效、抑或检索越权、又或缺少出站闸?还要补哪些更硬的护栏?
题目
面对「这是不是痛风」,健康问答仍给出病名和用药,尽管系统提示写了不得诊断。怎样分层判断问题出在提示失效、抑或检索越权、又或缺少出站闸?还要补哪些更硬的护栏?
参考答案
点击展开参考答案
- 系统提示只是软约束,模型可以把用户问题续写成诊断句,所以必须分层验证,而不是再写一句更长的禁止。
- 先冻结权重,分别关掉检索、换掉系统提示、只开输出分类做三组回放:若无检索仍吐病名,是生成策略问题;若只有命中治疗手册时才用药名,是检索越权;若模型内部已经写了诊断但分类器能拦住,说明缺的是出站闸门。
- 护栏应做成意图识别(要诊断就转分诊模板)、出站检测病名/药名/确定性措辞、急症升级,以及检索白名单只放患者教育材料。
- 模型定位必须是信息解释,不是开药的临床决策者。
- 医疗场景的失败成本是错误诊断和延误就医,监管上若系统实际上在诊断或治疗,可能被视作医疗器械用途,不能靠免责声明一句卸掉。
- 数据流建议:①入站对症状+「是不是某病」「该吃什么药」做意图分类,命中则走固定分诊:询问红旗症状、建议就诊、拒绝点名确诊;②检索语料剔除处方集、剂量表、未审核论坛,命中应带回来源类型标签;③解码后用词典+分类器抓疾病专名、药品通用名、检查名和「你得了 / 应当服用」类句式,命中则改写为「可能相关的常见解释 + 就医」;④胸痛、呼吸困难、自伤等急症关键词直接升级人工或急救提示,不走生成。