合法 schema 里填出带破坏性副作用的参数,尽管模型刚答应只读。护栏放在提示词、工具面还是执行器?
题目
合法 schema 里填出带破坏性副作用的参数,尽管模型刚答应只读。护栏放在提示词、工具面还是执行器?
参考答案
点击展开参考答案
- 提示里的“只读”只是软约束,模型仍可在合法 schema 里填出带副作用的参数,例如把过滤条件写成删除谓词、把导出目标写成外网地址。
- 必须在工具层收窄能力:只暴露只读方法、参数用允许列表、读写拆成两个工具;并在执行层用独立策略引擎按身份、动作、资源三元组拦截。
- 三层都要有,强制力从提示到执行递增;任何一层单独宣称安全都不成立。
- 提示层写禁止项、对输出做安全分类,成本低,绕过也便宜。
- 工具层不要把
search和delete挂在同一后端;只读走副本;表名、列名、最大行数用允许列表;dry_run与真实执行必须是两个工具名。