系统设计:如何建设一套 Agent Eval 平台?
题目
系统设计:如何建设一套 Agent Eval 平台?
参考答案
点击展开参考答案
- 平台服务 Prompt/模型/Tool/Harness 开发者、算法评测人员和发布负责人,要求评测可复现、能定位根因、支持非确定性统计,并能阻止质量或安全回归进入生产。
- 先定义规模:数据集/版本数量、单次并发、是否使用真实 Tool、成本预算和数据合规。
- 每条 case 保存输入、场景/难度/风险、初始环境、Tool/知识版本、期望最终状态、允许路径、禁止动作和 evaluator;划分开发、稳定回归和盲测集,支持参数化生成、防泄漏、脱敏、owner 和 lineage。
- 将代码、模型与参数、Prompt、Tool、RAG、Memory、Policy 和 Harness 配置组成不可变 Agent version。
- 一次评测生成
evaluation_run_id,记录代码 commit、随机种子、供应商版本和执行镜像,保证可重放。 - Runner 使用隔离 Sandbox 和有界并发;支持真实 staging Tool、确定性模拟器、录制回放三种模式。
- 副作用默认禁止,必须使用测试租户和幂等资源。