成对评审器哪怕把费率写错,仍约有七成偏向篇幅更长、语气更客气的一方。这是哪几类评审偏差?纳入 CI 闸门前要补哪些校准与对照?
题目
成对评审器哪怕把费率写错,仍约有七成偏向篇幅更长、语气更客气的一方。这是哪几类评审偏差?纳入 CI 闸门前要补哪些校准与对照?
参考答案
点击展开参考答案
- 这是长度偏差和礼貌/助手腔偏差压过了事实:评审模型在成对提示里常把更长、更像“乐于助人”的文本当成更好,先展示的候选还会再占一层位置便宜。
- 它也可能偏袒与自己同族的口吻,并在专业费率上编出看起来合理的理由。
- 做成门禁前:随机交换 A/B,两次判决一致才计胜;量规写成“事实错误则必败”;用人工金标做相关和偏差检验;能用规则判的字段(费率、账号)不要交给评审器。
- LLM 评审的接口通常是绝对分(1–5)或成对胜负。
- 成对往往和人类排序更齐,但更吃位置:先出现的候选被选中的比例常明显高于一半,所以必须交换顺序,两次矛盾则记平或重裁。