生成权重为何不能充当安全边界?给办公室里的 agent 列威胁:提示注入、失控循环、数据外带、工具越权、误操作。哪些必须在执行器强制,哪些可以先写成策略提示?
题目
生成权重为何不能充当安全边界?给办公室里的 agent 列威胁:提示注入、失控循环、数据外带、工具越权、误操作。哪些必须在执行器强制,哪些可以先写成策略提示?
参考答案
点击展开参考答案
- 凡是有副作用或能碰到敏感数据的,必须在执行器强制:最小权限、工具允许名单、沙箱、不可逆动作的确认门、步数和费用上限、出站网络控制、完整审计。
- 策略提示可以降低误操作和轻度注入的发生率,但只能当辅助。
- 生成权重不是安全边界:提示被覆盖或模型选错工具时,生成层没有强制拒绝;拒绝必须发生在调用工具之前的策略引擎。
- 越权:凭证按任务签发,文件系统和接口范围收窄,拒绝规则比「请不要读人事目录」可靠。
- 注入:不可信文本当数据,不进指令通道;总原则在这里立住,针对读信读网页再堵外泄通道。