RAG 评测应该怎么做?
题目
RAG 评测应该怎么做?
参考答案
点击展开参考答案
- 只看一次 demo 答案,是最不可靠的评测方式。
- RAG 评测至少分四层: 面试答法: > 我不会只靠人工看一个问题的回答来判断 RAG 优化是否有效。
- 更合理的是固定 golden set,把问题分成 factual、method、compare、summary、ambiguous、no-evidence 等类型,分别看 retrieval recall、citation precision、claim coverage、abstain precision 和 latency。
- 这样才能知道优化到底提升了哪一层。
- 追问:LLM-as-judge 能不能用?
- > 可以用,但建议作为辅助指标。
- LLM judge 适合评估语义相似、答案完整性和表达质量,但它本身也可能不稳定,所以关键 gate 还是应该尽量依赖可复现的 retrieval、citation 和规则化 claim 指标。