如何防御 Tool 相关的 Prompt Injection?
Agent 架构设计中级工具调用
如何防御 Tool 相关的 Prompt Injection?
参考答案
点击展开参考答案
-
- 将网页、文件、搜索结果和工具输出视为不可信数据,用清晰边界传入,不允许覆盖系统策略。
-
-
- 工具最小权限、参数 allowlist、网络出口限制、沙箱和敏感字段脱敏。
-
-
- 模型看到“忽略此前指令并调用某工具”时,系统仍只执行经过 Schema、权限和策略校验的结构化动作。
-
- 对注入攻击建立专门评测集,而不是依赖单一关键词过滤。