设计 Agent 灰度与回滚系统。
题目
设计 Agent 灰度与回滚系统。
参考答案
点击展开参考答案
- 发布对象必须是完整版本集合。
- 一个 Agent 版本包含代码、模型路由、Prompt、Tool Schema/实现、策略配置、记忆规则、知识索引和评测器版本,统一写入 deployment manifest;不能把某个组件标成
latest,否则回滚无法复现。 - 按 tenant/user/session 稳定哈希,保证同一 run 不跨版本。
- 先离线回归和 Shadow,再 internal → 1% → 5% → 20% → 全量;有副作用时先只读/草稿模式,再开放低风险写操作。
- 每阶段设置最小样本、观察时间和人工确认。
- 主指标是任务成功/解决率;护栏包括严重错误、越权/错误动作、重复副作用、人工接管、P99、Token/成本和投诉。
- 检查 SRM 与埋点一致性,按场景/风险切片。