Bad Case 怎么归因到模型、Prompt、检索或工具?怎么回流成回归集?
题目
Bad Case 怎么归因到模型、Prompt、检索或工具?怎么回流成回归集?
参考答案
点击展开参考答案
- 先基于 trace 找到“第一个偏离正确轨迹的步骤”,而不是把最终错答都归为模型幻觉。
- 优先用确定性信号:Schema 错误、权限拒绝、工具超时、空召回、知识版本错误、引用不存在、状态转移非法。
- 再通过回放与消融定位:固定工具结果换模型/Prompt;固定模型输入替换检索证据;绕过改写直接检索;用录制工具结果排除依赖波动。
- 归因 taxonomy 至少包含需求理解、上下文/摘要、规划、工具选择、参数、工具执行、检索召回、rerank、生成/引用、安全策略和基础设施。
- 一个 case 可有触发原因和根因,例如第三方 429 是触发,系统多层重试无背压是根因。
- 自动归因输出证据 step 和置信度,并由人工抽样校准。
- 回归样本保存脱敏输入、环境/知识/工具快照、期望业务结果、允许路径、禁止动作和 evaluator;进入对应场景与错误标签分层。