离线 800 条上新提示成对胜率 63%,拿 10% 流量灰度跑满两天,重开工单的比率却上升。两边冲突时如何收场?离线集何时采信、线上指标何时采信?
题目
离线 800 条上新提示成对胜率 63%,拿 10% 流量灰度跑满两天,重开工单的比率却上升。两边冲突时如何收场?离线集何时采信、线上指标何时采信?
参考答案
点击展开参考答案
- 离线胜率回答的是「在这 800 条冻结分布上,裁判是否更喜欢新输出」;重开率回答的是「真实用户有没有把同一件事再提交一次」。
- 两者测的不是同一个随机变量,打架时先别宣布谁赢。
- 先查离线集是否过期、是否偏了低频难例、裁判是否偏爱长文;再查两天重开率的样本量和切片。
- 能对上同一意图的,以线上行为为准做发版;对不上的,停在灰度,补那一刀离线样本后再测。
- 离线:输入固定、可复现、便宜,适合 CI 和迭代;短板是分布会陈旧、没有用户追问、不计延迟卡顿、两两比较常被更长更礼貌的答案赢走。
- 800 条若按历史日志均匀抽,可能只有几十条是目前的高流量意图;63% 胜率若集中在长尾投诉文案,对重开会几乎无信息。