Goal Hijacking 与普通 Prompt Injection 有什么关系?
题目
Goal Hijacking 与普通 Prompt Injection 有什么关系?
参考答案
点击展开参考答案
- Prompt Injection 是攻击手段:通过用户输入或网页、邮件、文档、工具结果中的指令影响模型。
- Goal Hijacking 是结果:Agent 的原始目标被替换或偏转,开始为攻击者执行搜索、外传数据或高风险动作。
- 仅靠“忽略恶意指令”的 Prompt 无法可靠防御,因为指令与数据位于同一模型输入。
- 架构上应固定不可由模型修改的目标/策略,外部内容标记为不可信数据;工具最小权限;私有数据读取与任意外发能力不要同时开放;高影响动作由独立 Policy Engine 校验;监控目标、计划和工具序列的异常偏移。