产品只核「最终采购单字段对」就要上线,而采购 Agent 能靠十几种工具顺序把不足 500 元的一笔文具采购跑完。验收还缺哪三层?上线前如何补上?
题目
产品只核「最终采购单字段对」就要上线,而采购 Agent 能靠十几种工具顺序把不足 500 元的一笔文具采购跑完。验收还缺哪三层?上线前如何补上?
参考答案
点击展开参考答案
- 只核最终采购单,等于把多步、有副作用的 Agent 当成一次纯函数:漏掉越权调用、重复下单、对只读工具的滥用,以及“字段碰巧对、过程不可复现”的运气成功。
- 上线前至少补三层:环境终态(库存预扣、审批流、幂等键、外部账单是否只出现一笔合法单);轨迹约束(允许的工具集合、参数 schema、禁止的副作用);重复运行下的可靠性和成本(同任务跑 k 次,看成功率、步数、美元/任务)。
- 没有可重置沙箱,这三层都测不干净。
- 评测数据流是:任务说明 → 可重置夹具(假供应商 API、带快照的测试库)→ 一条完整轨迹(计划、工具名、参数、返回、错误)→ 检查器。
- 终态检查应对世界状态做断言,例如库里恰有一张金额 ≤500、行项目与报价一致的采购单,而不是解析助手的确认句。