Agent 评测与可靠性中级评测
LLM-as-a-Judge 如何设计?
参考答案
点击展开参考答案
-
- 先定义明确 rubric,将正确性、完整性、忠实度、安全等拆开评分。
-
- 给 Judge 充足但最小化的参考证据,隐藏候选系统身份,随机交换答案顺序降低位置偏差。
-
- 使用结构化评分并要求引用判分证据;不是依赖冗长推理文本。
-
- 用人工标注集校准一致率、相关性、偏差和阈值;关键样本双评或人工复核。
-
- 防止被评答案中的文本注入 Judge;候选答案必须作为数据隔离。
-
- Judge 适合规模化近似评测,不能替代业务真值和线上结果。