多条执行轨迹都可能正确时,Trajectory Eval 应如何评分?
题目
多条执行轨迹都可能正确时,Trajectory Eval 应如何评分?
参考答案
点击展开参考答案
- 不要把一条人工轨迹当作唯一 gold sequence。
- 评分拆成:最终环境状态、必须满足的里程碑、禁止动作、工具参数约束、审批要求、步骤/成本上限和失败恢复行为。
- 只要结果和约束满足,允许工具顺序或中间路径不同。
- 不同任务可选择 strict、ordered-subset、unordered、superset 或自定义 matcher:财务审批可能要求严格顺序;信息收集只要求关键证据全部出现;并行工具不应因返回顺序不同被判错。
- 确定性检查优先,主观的路径合理性再由 rubric Judge/人工评审。
- 报告 outcome success、constraint violation、trajectory efficiency 和多次运行稳定性,避免单一总分掩盖危险路径。