产品打算今天午后把流量切走。80 道样本里提示 B 过关率领先 4 个百分点。如何凭配对设计与区间,裁定这 4 分是否足以支撑上线?
题目
产品打算今天午后把流量切走。80 道样本里提示 B 过关率领先 4 个百分点。如何凭配对设计与区间,裁定这 4 分是否足以支撑上线?
参考答案
点击展开参考答案
- 80 条上 4 个点通常还在噪声里:两条通过率都在七成左右时,差值的标准误大约是数个百分点,粗略区间会轻松盖住 0。
- 必须用同一批题做配对比较,固定模型版本、温度和检索快照,先报区间和功效,再谈切流。
- 下午能做的是补测或小流量灰度,不是把一次点估计当成严谨结论。
- 配对协议:每条输入两条系统都跑,只分析“只 A 过 / 只 B 过”的不一致对;二值结果用适合配对的检验,1–5 分用符号秩或配对均值,不要把两次独立抽样的总分直接相减。
- 示意:n=80、p≈0.70 与 0.74,若近似当成两个比例,差的标准误约 √[0.70×0.30+0.74×0.26]/√80 ≈ 0.07,粗略 95% 区间半宽约 14 个点,4 分完全站不住。