仓库里的智能体将检索到的「缺货」做成批量作废,近 200 张订单在两小时内被撤掉,管理层想要人负责。三日内做一次不追责回顾该收集哪些时间轴证物,如何把模型意图偏差、工具授权过宽和监控漏检分开,后续动作分给哪些团队?
题目
仓库里的智能体将检索到的「缺货」做成批量作废,近 200 张订单在两小时内被撤掉,管理层想要人负责。三日内做一次不追责回顾该收集哪些时间轴证物,如何把模型意图偏差、工具授权过宽和监控漏检分开,后续动作分给哪些团队?
参考答案
点击展开参考答案
- 无责复盘问的是系统为什么允许这次失误走完全闭环,而不是谁点了发布。
- 先钉时间线:变更窗口、模型/提示/索引版本、检索到的文档、工具参数与返回、人是否在环、被影响订单集合。
- 原因至少拆三层:检索或提示造成的错误意图、工具层为何允许无二次确认的批量取消、监控为何两小时才发现。
- 动作项按能永久降低同类事故的团队拆——平台收紧工具权限,算法补检索评测,业务做人补救和抽检——写进某个人的绩效不算复盘完成。
- 证据包包括编排 trace(每步工具名、参数、延迟)、检索块与分数、当时提示模板、特征开关、发布记录、值班告警、被撤订单的原状态。
- 会上禁止「粗心」「该看出来」,改问「这一步有没有让错误难以被发现」。