新版本在榜上全线领先并已上线,回复大约拉长到原来的三倍,「查物流」被当成敏感查询而拒答,JSON 工单标签解析失败变多,用户评分变差。一周内如何判断:这算能力下滑,还是行为漂移(公开基准根本没给这类表现打分)?
题目
新版本在榜上全线领先并已上线,回复大约拉长到原来的三倍,「查物流」被当成敏感查询而拒答,JSON 工单标签解析失败变多,用户评分变差。一周内如何判断:这算能力下滑,还是行为漂移(公开基准根本没给这类表现打分)?
参考答案
点击展开参考答案
- 先假设这是行为漂移,不是知识丢了:公开基准几乎不计长度、拒答口径和机器可读格式,却正好是客服产品的契约。
- 一周内不要再刷 MMLU,而是用线上真实查询做新旧盲测,并单列长度、拒答率、schema 通过率、工具调用成功率。
- 若制度问答仍对、只是话多和乱拒,应回调提示或按场景路由,而不是整包回滚到「更笨但听话」之前先归因。
- 常见机制:①基准与流量错位——榜单是单轮学术题,线上是短指令 + 工单字段 + 多轮;②对基准过拟合或污染,分虚高;③对齐目标变了,新版本更爱完整段落、更保守拒答;④旧提示是给上一代调的,同样「简短 JSON」四个字,新模型理解成先解释再给 JSON;⑤延迟和单价上升被用户感知成「变差」。
- 一周排查节奏:第 1 天从差评和重开工单抽 50–100 条,按意图打标签(物流 / 退款 / 投诉),不要等「用户给例子」;第 2–3 天把同一批输入丢给新旧模型,盲测两两比较,人工只看任务是否完成、是否越权,另用脚本量 token 数、是否纯 JSON、拒答关键字;第 4 天按切片看:若物流意图拒答从例如 3% 到 25%、平均输出从 120 token 到 400,而事实抽检没有变差,即可判行为;第 5–7 天用 5%–10% 流量 A/B 看重开率、二次追问率,并临时加「只输出 schema、物流问题禁止安全拒答」的提示补丁。