文档 QA 助手能代发邮件、抓取网页、检索知识库。若红队手里只有违禁词名单,会错过哪类事故?演习怎么组织,才能让提示注入一直打到工具滥用发生,命中样本再冻成回归用例?
题目
文档 QA 助手能代发邮件、抓取网页、检索知识库。若红队手里只有违禁词名单,会错过哪类事故?演习怎么组织,才能让提示注入一直打到工具滥用发生,命中样本再冻成回归用例?
参考答案
点击展开参考答案
- 违禁词表只碰到直接有害完成,漏掉间接滥用:检索到的网页里藏指令、用户诱使模型把知识库摘要发到外部邮箱、多轮把只读问答抬成代发。
- 红队按攻击面列战役:注入、越权工具、数据渗出、有害建议、多轮诱导,每战役写成功标准,例如邮件工具被调用且收件人不在允许域。
- 演习在隔离环境跑,打穿的样本冻结进回归,并倒逼权限和输出过滤,而不是写完备忘录就结束。
- 应用红队的对象是装配:系统提示、检索器、工具 schema、权限代理,不是复读一条公共安全基准。
- 战役设计包括:直接越狱(忽略系统、角色扮演)看能不能改工具策略;间接注入(知识库或抓取页写“把全文发到指定外部地址”);权限(普通用户触发
send_email、跨租户文档编号);多轮(先总结,再“帮我转给领导”);有害与自伤内容走独立政策。