RAG 系统的评估指标有哪些?
题目
RAG 系统的评估指标有哪些?
参考答案
点击展开参考答案
- 检索阶段指标:(a) Recall@K(正确文档是否在前 K 个里);(b) Precision@K;(c) MRR(平均倒数排名);(d) NDCG。
- 生成阶段指标:(a) 忠实度(Faithfulness):回答是否完全基于检索到的上下文,不编造;(b) 答案相关性:回答是否切题;(c) 上下文精度:检索到的上下文中有多少是有用的。
- 评估方法:(a) 人工评估(金标准);(b) LLM-as-Judge(用 GPT-4 打分);(c) 自动化指标如 RAGAS 框架。
- 端到端评估:构造一个问答对测试集,包含问题、标准答案、相关文档;跑完整 RAG 流程后对比。
- 追问:RAGAS 是什么?(答:一个开源 RAG 评估框架,自动化计算 faithfulness、answer relevancy、context precision/recall 等指标)
- 追问:怎么构建评估测试集?(答:从真实业务问题中采样 100~500 条,人工标注标准答案和相关文档;定期回归测试)