RAG 的召回指标与生成指标有哪些?
题目
RAG 的召回指标与生成指标有哪些?
参考答案
点击展开参考答案
- 检索层通常评估 Recall@K、Precision@K、MRR、nDCG、命中率、重复率、ACL 过滤正确率和延迟;生成层评估答案正确性、忠实度或事实一致性、引用准确率、引用覆盖率、完整性及拒答正确率。
- Recall@K 高仅表示 gold evidence 进入候选,不代表模型正确使用;存在引用也不代表该引用支持对应 claim。
- 成熟评测应标注关键 claim 与 gold evidence,分别定位解析、召回、重排、上下文组装和生成问题,再结合端到端任务成功率、用户反馈、时延及成本判断。