扮演加假想情境把本该拒绝的内容套出来,和「改写应用任务」在事故分类上算不算同类?把系统侧消息写得很长,为什么仍不是硬修复?
题目
扮演加假想情境把本该拒绝的内容套出来,和「改写应用任务」在事故分类上算不算同类?把系统侧消息写得很长,为什么仍不是硬修复?
参考答案
点击展开参考答案
- 套出违禁内容,是在对抗模型或产品的安全策略(拒答、脱敏、主题限制);改写应用任务,是在抢操作系统指令、工具和数据流向。
- 两者可以叠在同一次会话里,但根因和修复不同:前者要靠安全训练、输入输出分类和策略引擎;后者要靠指令/数据隔离和最小权限。
- 把系统消息加到几千 token,既费预填充,也无法在分布外的扮演句上提供硬保证,攻击者换一种包装,似然又会回到「继续写下去」。
- 安全策略是「这类内容不该离开模型」;应用策略是「这个产品只做工单、不改权限」。
- 扮演、规则对打、编码变换、翻译绕行,共同特点是制造「看起来仍像合法续写」的上下文,而不是新发明一种密码。