Shadow Mode、Canary 与 A/B Test 有什么区别?
题目
Shadow Mode、Canary 与 A/B Test 有什么区别?
参考答案
点击展开参考答案
-
- Shadow Mode:新 Agent 接收真实请求并生成决策,但不产生用户可见输出或副作用;适合验证工具选择、质量和成本,风险最低。
-
- Canary:让少量真实流量使用新版本,观察错误率、成功率、安全和成本,触发阈值自动回滚;重点是发布安全。
-
- A/B Test:稳定分桶比较两种方案对业务指标的因果影响;重点是效果评估,不等同于故障灰度。
- 带副作用 Agent 应先 shadow,再开放低风险只读动作,最后小流量开放写操作。
- 分桶按用户/会话保持稳定,避免一次任务跨版本。
- 护栏至少包括任务成功率、越权/错误动作、人工接管、P99、每成功任务成本和投诉。