公开风格离线集几乎不动,但「引用了错文档」类工单在 embedding 灰度 10% 流量的当天翻倍。半小时内如何区分:旧向量混写入新索引、推理时丢了 L2 归一化,还是域内分布真的发生了 drift?
题目
公开风格离线集几乎不动,但「引用了错文档」类工单在 embedding 灰度 10% 流量的当天翻倍。半小时内如何区分:旧向量混写入新索引、推理时丢了 L2 归一化,还是域内分布真的发生了 drift?
参考答案
点击展开参考答案
- 先保证能一键切回旧索引,并核对「查询所用
model_id= 被搜索引的model_id」。 - 用同一批线上失败查询做三组对照:旧 query 打旧库、新 query 打新库、新 query 打旧库。
- 交叉检索分数整体塌缩或飙到无意义、维度或
||v||对不上,就是混写或没归一化;新空间内部范数和分数都自洽、只在业务失败查询上金标名次系统性后退,才是真 drift。 - 公开风格集不动,恰恰说明它看不见你们的术语切片,不能拿来给事故续命。
- 灰度是否 100% 打到新 encoder,有没有旧 replica 被均衡进来;日志里的
model_version、dim、向量范数。 - 点积检索若丢掉 L2,长度大的文档会占满 top-k,失败面很宽、公开集若碰巧范数均匀就看不出来。