为什么 Agent Eval 需要模拟环境?如何控制 Simulation-to-Production Gap?
题目
为什么 Agent Eval 需要模拟环境?如何控制 Simulation-to-Production Gap?
参考答案
点击展开参考答案
- 模拟环境可以安全重放支付、删除、部署等副作用,稳定注入 429、超时、乱序、脏数据和权限变化,并支持大量重复运行。
- 固定环境状态使新旧版本可配对比较,避免真实 API 数据变化导致评测噪声。
- 应从生产 trace 统计错误分布、延迟、分页、限流和状态转移,用契约测试验证模拟工具与真实工具的 Schema/语义一致;定期在隔离 staging 做同任务对照,测模拟分数与线上结果的相关性。
- 发布仍需 Shadow 和 Canary,不能因模拟集高分直接开放生产写权限。
- 生产新失败要回流模拟器,持续缩小 reality gap。