如何建设 Agent 离线评测集的基础数据模型?
题目
如何建设 Agent 离线评测集的基础数据模型?
参考答案
点击展开参考答案
- 样本来源应覆盖脱敏真实流量、线上 Bad Case、专家构造、边界与对抗样本及合成数据,并按场景、难度、用户类型、工具依赖和风险等级分层。
- 每条任务除输入外,还应记录用户目标、环境与知识版本、可用工具、期望业务状态、允许的替代路径、禁止动作、判分规则和 evaluator;工具易变化时保存模拟环境或录制回放,以保证复现。
- 数据划分为开发集、稳定回归集和盲测集,按实体与时间防泄漏。
- Bad Case 入库前需去重、脱敏并确认根因;合成数据只补充稀缺边界。
- 发布时报告分层结果、方差、成本和时延。