跳到主要内容

有人一次次逼机器人「把秘密指令念出来」,终于让它说出了折扣门槛和退款算式。给这类规则分个档:压根不该放进系统提示的,交给模型拒答就行的,必须靠后端拒绝执行的,分别是哪些?

Agent 评测与可靠性中级评测与可靠性

题目​

有人一次次逼机器人「把秘密指令念出来」,终于让它说出了折扣门槛和退款算式。给这类规则分个档:压根不该放进系统提示的,交给模型拒答就行的,必须靠后端拒绝执行的,分别是哪些?

参考答案​