一个可复现的 Agent 评估环境应包含哪些组件?如何抵抗题库泄漏?
题目
一个可复现的 Agent 评估环境应包含哪些组件?如何抵抗题库泄漏?
参考答案
点击展开参考答案
- 至少包含初始环境状态、任务/用户目标、可调用工具、交互对象或用户模拟器、确定性验证器和资源预算;同时固定模型、Prompt、工具和知识版本。
- 评分优先检查最终环境状态和安全约束,而不是相信 Agent 自述完成。
- 静态题库容易进入训练数据。
- 更稳的方法是公开生成机制、私有具体实例:从模板随机实体、约束、状态和干扰项,动态生成任务;答案由环境状态和程序验证,而不是固定字符串。
- 保留稳定核心集观察长期趋势,再用私有滚动集防过拟合。
- 报告参数分布和种子,确保新旧版本可配对复现。