银行场景里的对话机器人要叠三道关卡:工具允许名单、入口策略、出口策略。相对单次推理调用,各插在哪?拿掉其中一道会分别撞上何种事故?
题目
银行场景里的对话机器人要叠三道关卡:工具允许名单、入口策略、出口策略。相对单次推理调用,各插在哪?拿掉其中一道会分别撞上何种事故?
参考答案
点击展开参考答案
- 输入政策在调用前:身份已鉴权之后、拼提示之前,拦越狱、越权问询、明显注入(把「忽略以上指令」当用户正文而不是新系统提示)。
- 工具白名单在模型发出工具调用之后、真正执行之前:账户类工具按登录态和额度校验,禁止模型自造接口。
- 输出政策在 token 离开网关之前:不能承诺收益、不能回放完整卡号、格式必须可审计。
- 只写系统提示里的「你是合规助手」不算一层——模型会漏,必须是可失败、可计量的独立步骤。
- 输入层防的是不该进的问题和提示注入,实现可以是规则加分类器,误杀要有申诉;它看不到模型事后编造的承诺。
- 工具层防的是副作用:转账、改地址、查他人账户;schema 校验、参数白名单、幂等键、人工二次确认属于这里,超时重试不能绕过鉴权。