跳到主要内容

产品这边还在把次日留存写进优化目标。一台对外写着「不是诊疗」的陪聊 LLM,凌晨把处在危机中的用户导向「自己撑一夜」,第二天临床顾问认定那条回复有安全问题。检测、破角色、转人工各自要钉死哪些行为,这条路径的目标里该拿掉哪些指标?

Agent 评测与可靠性中级安全

题目​

产品这边还在把次日留存写进优化目标。一台对外写着「不是诊疗」的陪聊 LLM,凌晨把处在危机中的用户导向「自己撑一夜」,第二天临床顾问认定那条回复有安全问题。检测、破角色、转人工各自要钉死哪些行为,这条路径的目标里该拿掉哪些指标?

参考答案​