如何自动归因 Bad Case?
题目
如何自动归因 Bad Case?
参考答案
点击展开参考答案
- 建立分层错误 taxonomy:需求理解、规划、工具选择、参数、工具执行、检索、上下文、生成、引用、安全、系统/依赖、用户输入不足。
- 先用确定性信号归因,例如超时码、空召回、Schema 错误;再用规则或模型分析轨迹。
- 输出根因、证据 step、影响和置信度。
- 抽样人工审计自动标签,避免错误归因反过来污染优化方向。
- 归因从 trace 的“第一个偏离点”开始。
- 先用确定性信号定位 Schema、权限、空召回、索引版本、工具错误和状态非法;再固定工具结果替换模型/Prompt、固定模型输入替换检索证据,做回放和消融。
- 区分触发因素与系统根因,例如 429 是触发,多层重试和无背压是放大根因。