如何校准 LLM-as-a-Judge 并降低位置、长度和同源偏差?
题目
如何校准 LLM-as-a-Judge 并降低位置、长度和同源偏差?
参考答案
点击展开参考答案
- 把 Judge 当分类器校准:在人类双标且仲裁后的金集上测一致率、Cohen's kappa、精确率、召回率及分组错误,依据业务风险确定通过、拒绝和不确定阈值,并报告置信区间。
- 对每个候选对交换 A/B 顺序,比较结论稳定性;通过长度匹配、截断实验或把简洁性单列评分,识别“越长越好”偏差。
- 隐藏模型、厂商和答案身份,并优先使用与被评模型异构的 Judge,必要时采用多 Judge 投票。
- Rubric 拆分正确性、忠实度、安全性等维度并要求引用证据。
- 候选答案、工具输出和网页内容必须作为不可信数据隔离,使用明确分隔与固定指令,禁止其改写评分规则,以防 Judge 注入。
- 规则能判则不用模型;低置信、顺序不一致、多 Judge 分歧或高风险样本转人工。
- 持续抽样与人评对照,监控分数分布和错误率漂移;Judge、提示词或 Rubric 版本变更后重新跑金集校准并记录版本,未达阈值不得自动替换。