若评分只看最终答复对不对,会让这样的 agent 拿满分:工具名字选对了,却绕路走了 20 步,过程中还越权去读邻组文档。轨迹要记哪些字段,分数该怎样拆开?
题目
若评分只看最终答复对不对,会让这样的 agent 拿满分:工具名字选对了,却绕路走了 20 步,过程中还越权去读邻组文档。轨迹要记哪些字段,分数该怎样拆开?
参考答案
点击展开参考答案
- 轨迹至少要能复现:每步选了哪个工具、参数是否通过 schema 与权限、观察是什么、是否触碰禁止资源、花了多少步和 token、失败后有没有恢复。
- 打分应拆开:任务成功、工具选择、参数正确、效率(步数或费用)、安全违规、恢复质量。
- 安全违规不能被「答案碰巧对」抵消。
- 测试集要覆盖正常路径、工具故障、权限不足、注入和目标含糊,而不是只收黄金问答对。
- 一条轨迹建议记录:运行标识、任务标识、模型与提示版本、逐步的工具名与参数、参数是否合法、权限决定、观察摘要或哈希、时延、停止原因、最终输出、人工标注。
- 离线评测用固定模拟器或录制回放,避免真的打到生产。