幻觉那三张工单靠改一行系统提示修掉了,上线之后大约十分之一的订单状态查询吐不出可解析的 JSON。当时回归集少了哪类样本?如何让这套集既能挡住发版,又不至于沦为改任何措辞都亮红灯的坟场?
题目
幻觉那三张工单靠改一行系统提示修掉了,上线之后大约十分之一的订单状态查询吐不出可解析的 JSON。当时回归集少了哪类样本?如何让这套集既能挡住发版,又不至于沦为改任何措辞都亮红灯的坟场?
参考答案
点击展开参考答案
- 漏的是「核心契约」样本:订单查询必须吐出可解析且字段齐全的 JSON,以及按意图分层的幸福路径。
- 当时集子只盯着那三张幻觉,等于用事故清单代替产品规格。
- 回归集要同时冻输入和期望行为——期望可以是 schema、必含/禁含、工具参数,而不是整段标准答案。
- 发版门槛只应由标成 blocking 的稳定子集决定;其余是观察项,避免任何措辞改动都红灯。
- 构造顺序:①先按线上意图先验列出必须永远过的契约(格式、权限、拒答、计费相关数字);②再吸收真实失败,但先写清「修好长什么样」,不要把当时的模型胡话当负例却没有正例;③补边界(缺单号、已取消订单、重复点击);④安全与注入单独成包。
- 每次改模型、提示、索引或工具都跑同一 runner,输出按切片(意图 × 严重度)而不是一个总分。