产品要从盲评成对对战里给聊天模型 A、B 一个榜单分,对战里偶尔还有锚点 C。Bradley-Terry 怎样写成 P(A≻B)=σ(r_A−r_B),为什么原始胜率在对手池一变就不可比,评分怎样用逻辑斯蒂极大似然或 Elo 式更新来拟合,并给出 bootstrap 95% 区间,大约 30 Elo 的差距为什么需要几百场而不是 20 场,位置偏置、长度偏置和评审身份又该怎样收进同一次拟合?
题目
产品要从盲评成对对战里给聊天模型 A、B 一个榜单分,对战里偶尔还有锚点 C。Bradley-Terry 怎样写成 P(A≻B)=σ(r_A−r_B),为什么原始胜率在对手池一变就不可比,评分怎样用逻辑斯蒂极大似然或 Elo 式更新来拟合,并给出 bootstrap 95% 区间,大约 30 Elo 的差距为什么需要几百场而不是 20 场,位置偏置、长度偏置和评审身份又该怎样收进同一次拟合?
参考答案
点击展开参考答案
- 榜单分是对战模型里的强度 r,不是胜场除以场次。
- Bradley-Terry 把 A 胜过 B 写成 σ(r_A−r_B)=1/(1+e^{−(r_A−r_B)});平局先剔除或单独建模,下面按无平局。
- 原始胜率是对当前这批对手的平均,对手池一换胜率就变,A 胜 B、B 胜 C、C 胜 A 这种循环也不能被一个胜率标量解释。
- 拟合时钉死一个零点(r_C=0,或全体均值为 0),对每场胜负做逻辑斯蒂极大似然。
- 刻度要写在纸上,避免把 0.043 和 0.173 当成同一个数。
- 国际象棋 Elo 的期望得分是 1/(1+10^{−ΔR/400})。