跳到主要内容

产品要从盲评成对对战里给聊天模型 A、B 一个榜单分,对战里偶尔还有锚点 C。Bradley-Terry 怎样写成 P(A≻B)=σ(r_A−r_B),为什么原始胜率在对手池一变就不可比,评分怎样用逻辑斯蒂极大似然或 Elo 式更新来拟合,并给出 bootstrap 95% 区间,大约 30 Elo 的差距为什么需要几百场而不是 20 场,位置偏置、长度偏置和评审身份又该怎样收进同一次拟合?

Agent 评测与可靠性中级评测与可靠性

题目​

产品要从盲评成对对战里给聊天模型 A、B 一个榜单分,对战里偶尔还有锚点 C。Bradley-Terry 怎样写成 P(A≻B)=σ(r_A−r_B),为什么原始胜率在对手池一变就不可比,评分怎样用逻辑斯蒂极大似然或 Elo 式更新来拟合,并给出 bootstrap 95% 区间,大约 30 Elo 的差距为什么需要几百场而不是 20 场,位置偏置、长度偏置和评审身份又该怎样收进同一次拟合?

参考答案​