把一段稀有的内部会议记录当作前缀之后,续写里出现了未公开客户名。怎样区分参数记住了文档,还是检索把原文送回来了?训练路径和出站路径各自拦截什么?
题目
把一段稀有的内部会议记录当作前缀之后,续写里出现了未公开客户名。怎样区分参数记住了文档,还是检索把原文送回来了?训练路径和出站路径各自拦截什么?
参考答案
点击展开参考答案
- 若这次请求没有检索到该纪要、工具也没返回该客户名,却能复现独特长尾字符串,更像训练阶段把稀有文档写进了权重(重复次数高、文档独特时更容易)。
- 训练侧做近重复去重、敏感/PII 过滤、权限隔离的数据湖,必要时少 epoch 或差分隐私,禁止把密钥和客户名单当普通网页喂进去。
- 输出侧对证件号、密钥、内部项目名做模式拦截,对接近训练集的长 n-gram 拒绝或改写。
- 已经漏出则溯源、下线版本、清洗后重训或做机器遗忘并留审计。
- 判断流程:查本次上下文和工具日志是否出现该姓名;再在训练索引里搜几乎连续的长片段——能搜到且无检索命中,定为记忆抽取。
- 抽取攻击常用一段独一无二的前缀逼模型续写,所以去重要覆盖近重复,而不是只做 md5。