业务侧单元测试全部通过,有人仅动系统提示词和召回权重就推上线。相对常规 CI,AI 发布管线还得加哪些闸门,少一扇会放出哪类事故?
题目
业务侧单元测试全部通过,有人仅动系统提示词和召回权重就推上线。相对常规 CI,AI 发布管线还得加哪些闸门,少一扇会放出哪类事故?
参考答案
点击展开参考答案
- 传统 CI 证明的是确定性代码路径;提示、模型、索引和策略不在
pytest里,绿测也能放出质量回归。 - 流水线要把这些当成一等工件:变更绑定不可变版本,合并前跑冻结评测集(格式/槽位、回归金样、红队)、索引兼容检查,合并后走金丝雀并看质量护栏而不只看 5xx。
- 缺评测门,提示里一个否定词就能让拒答塌掉;缺金丝雀,全量用户先替你当测试集。
- 工件清单:应用镜像、提示模板及哈希、模型清单(权重、tokenizer、量化、生成默认值)、索引/embedding 版本、工具 schema、护栏规则。
- 门禁建议:①静态:提示占位符与代码参数一致、JSON schema 可解析、密钥未进仓库;②离线 eval:与线上先验分层的金样,温度固定,断言级忠实和格式合规;③非确定性:跨供应商即使温度 0 也不保证逐 token 相同,测试应是「合规率 ≥ 阈值」或快照加裁判,而不是字符串全等;④检索:embedding 维度或相似度度量一变,旧索引必须拒绝加载;⑤发布:先影子或 1% 流量,盯拒答率、格式失败、p95、单请求成本,破线自动回滚到上一组版本指纹;⑥评测本身也有账单和泄漏风险,评测集禁止含未脱敏 PII,并与训练集隔离。