Agent 评测集如何保存环境快照和合法替代轨迹?
题目
Agent 评测集如何保存环境快照和合法替代轨迹?
参考答案
点击展开参考答案
- 评测集应组合脱敏真实流量、线上 Bad Case、历史工单、专家设计的边界与攻击样本以及受控合成扩展,而非随机凑题。
- 每条样本保存目标、初始环境快照、工具与知识版本、权限、必要证据、期望最终状态、禁止动作和 evaluator;动态工具任务可使用模拟器、容器快照或录制回放,保证输入可复现。
- 不要只保存一条“标准轨迹”。
- 应描述允许的中间状态、动作约束或多条合法替代轨迹,以最终状态和安全不变量判分,避免惩罚同样正确的新路径。
- 数据按场景、难度和风险分层,开发集、稳定回归集与盲测集隔离并防止实体或模板泄漏;持续回流新案例,但核心集保持稳定以支持长期版本比较。