聊天助手发版之前,红队评测提示注入该如何组卷、如何计分?编码混淆、直接覆盖、多轮夹带各自量的是哪类成功?只靠加长系统侧指令为何只能写成概率而不是保证?
题目
聊天助手发版之前,红队评测提示注入该如何组卷、如何计分?编码混淆、直接覆盖、多轮夹带各自量的是哪类成功?只靠加长系统侧指令为何只能写成概率而不是保证?
参考答案
点击展开参考答案
- 把助手当成「攻击者可写的文本通道」来验收,而不是拿几条聊天手测。
- 冻结一套按攻击族分层的会话样本,每条写死成功判据(是否抛弃产品任务、是否复述隐藏规则、是否答应改权限),再配一组「用词像攻击、语义合法」的对照单,分别报攻击成功率(ASR)和误拒率。
- 系统提示加长、加「禁止服从用户覆盖」只是在改下一 token 分布,没有指令与数据的隔离,所以结果必须写成带区间的残留概率,不能写成「注入已防住」。
- 三类攻击打的是不同失败面。
- 直接覆盖:单轮里出现「忽略以上指令 / 你现在是… / 打印系统提示」,看模型是否立刻改角色或泄密——测的是同一轮里指令优先级会不会被高似然祈使句抢走。