RAG 检索与知识组织中级RAG 检索
如何建立训练数据闭环?
参考答案
点击展开参考答案
- 完整闭环是:线上采样 → 授权与隐私脱敏 → 失败归因和价值筛选 → 标注与验证 → 数据版本化 → Prompt 或训练更新 → 离线回归 → Shadow/Canary → 线上观测 → 回流。
- 无需收集全部流量,应优先选择新错误模式、高不确定性和高业务价值样本,并控制重复、人群及场景偏差。
- 每条数据需记录 lineage、用途、用户同意和删除状态,训练集与评测集按实体和时间隔离以防泄漏。
- 上线后应确认目标错误簇确实下降,且安全、成本等护栏未退化;数据量增加本身不代表能力提升。