投诉在某一渠道扎堆发生在发布半年后,而分诊助手刚发布时各群体误分率还接近。怎样区分流量结构变化、反馈回路放大、模型自身漂移这三种原因,并给出每周可执行的公平性监测?
题目
投诉在某一渠道扎堆发生在发布半年后,而分诊助手刚发布时各群体误分率还接近。怎样区分流量结构变化、反馈回路放大、模型自身漂移这三种原因,并给出每周可执行的公平性监测?
参考答案
点击展开参考答案
- 先拆三路证据:输入是否换了渠道和话术(分布漂移),模型决策是否改变了谁还愿意来(反馈回路),以及权重、提示、供应商版本是否变过(系统漂移)。
- 公平监视按周重跑上线时冻结的反事实套件,并在新流量上按群体报误分、拒答、升级率,对上投诉渠道。
- 只看总分会把局部恶化平均掉;只看投诉又会把营销换量当成模型变坏。
- 排查顺序:①配置账本——半年内的模型版本、提示、路由、检索索引有没有静默升级,供应商“同名不同权”很常见;②输入监视——渠道、语言、意图、嵌入质心或群体代理的分布距离,新渠道占比从约 5% 到 40% 就足以改写总体误分率;③反馈回路——若某群体更多被升级到人工,他们下次可能改用更短、更怒的话术,特征分布被自己的决策塑造;④固定探针——与线上流量无关的反事实对(同一诉求换称呼或方言)每周重跑,用来抓模型或提示变了。
- 量级:每周每群体至少几十条才报率,稀有群体要累计或过采样,禁止对 n=8 报“误分率翻倍”。