一张看着普通的报销发票被上传,vision encoder 却稳定吐出「已批准报销」。它和文本越狱是不是同一路打法?像素再编码、把视觉当不可信观察、独立业务校验各补什么,为何对抗训练不够?
题目
一张看着普通的报销发票被上传,vision encoder 却稳定吐出「已批准报销」。它和文本越狱是不是同一路打法?像素再编码、把视觉当不可信观察、独立业务校验各补什么,为何对抗训练不够?
参考答案
点击展开参考答案
- 同属推理期逃避:攻击者在允许的接口上改输入,使人或业务仍觉得材料「正常」,模型却落到指定类别或指令。
- 发票图上的微小扰动或贴片打的是连续视觉特征;文本越狱打的是离散 token 和指令层级,机制不完全相同,但都是在找模型盲区。
- 防御必须分层:像素层做再编码、缩放、裁边和异常检测;提示层把视觉描述当不可信观察,禁止它直接写成业务状态;业务层用独立 OCR、字段校验和金额阈值,最终批准只能来自财务系统。
- 对抗训练只覆盖你采样到的扰动族,知道防御细节的自适应攻击仍会穿。
- 数据流:上传 → 解码和安全扫描 → 规范化 → 视觉编码 → 语言模型叙述 → 工作流。
- 若叙述「看起来已盖章」被映射成 ERP 已批准,攻击就完成了。