离线 80 条样例上,新版提示大约多出 12 分,产品要求放到 100% 流量。生成抖动很大。在线试验如何分层、固定哪些因素、何种证据才能判胜?
题目
离线 80 条样例上,新版提示大约多出 12 分,产品要求放到 100% 流量。生成抖动很大。在线试验如何分层、固定哪些因素、何种证据才能判胜?
参考答案
点击展开参考答案
- 80 条离线分差不能发版。
- 线上按用户或会话随机分流,按意图、租户、语言和时段分层,并锁死模型版本、索引版本、工具集和解码参数,只暴露提示这一条差异。
- 主指标用业务结果(一次解决、转化),并行看人工或抽样裁判的质量、成本、延迟和安全事件;安全或延迟击穿 SLO 则自动停实验。
- 样本量按输出方差加宽,覆盖至少一个周周期,禁止看两小时领先就切全量。
- LLM 同一提示重复抽样也会抖,温度 >0 时更明显;离线 80 条还常和训练或演示同分布,12 个点里有抽样噪声和过拟合。
- 分流单位必须是用户或会话:按请求抛硬币会让同一人看到两种口径,既污染体验也让配对失效。