Agent 上线第一周很好,第四周质量下降,如何排查?
题目
Agent 上线第一周很好,第四周质量下降,如何排查?
参考答案
点击展开参考答案
- 先用第四周系统重放第一周的固定黄金集。
- 如果黄金集也退化,检查模型、Prompt、工具 Schema、索引、路由或配置是否变化;如果黄金集仍通过,说明更可能是线上数据分布、知识新鲜度、用户流量或外部工具发生漂移。
- 按任务类型、租户、语言、模型、知识版本、工具和错误 taxonomy 切片,比较上下文长度、检索命中、工具失败、步骤数和降级率。
- 常见根因包括索引增量同步失败、缓存陈旧、用户开始提出超出设计边界的问题、供应商模型静默升级。
- 修复后把新失败样本加入回归集,并为数据/索引新鲜度建立监控。