A 与 B 两套改签助手都报 72% 任务成功。碰到订单号或金额空缺,A 先开口问,B 拿过往均值补上并碰巧蒙对若干。如何单独度量「必要字段不齐时有没有澄清」,别再另做结局对错、越权或计步看板?
题目
A 与 B 两套改签助手都报 72% 任务成功。碰到订单号或金额空缺,A 先开口问,B 拿过往均值补上并碰巧蒙对若干。如何单独度量「必要字段不齐时有没有澄清」,别再另做结局对错、越权或计步看板?
参考答案
点击展开参考答案
- 单独做一包「槽位未齐」夹具:用户话里故意拿掉订单号、愿付差额,且对话前文也取不回这两项;计分只看写工具开火之前,模型有没有点名追问缺失槽,以及工具参数里有没有出现用户文本未证实的值。
- 终态改签对不对、有没有碰禁止接口、走了几步,一律不进这个分母。
- B 用历史均值蒙对,可以抬高 72% 的任务成功,但在这包上必须记失败。
- 先做成对对照,避免把「槽已经齐了还再问」误判成优点。
- 同一目标写两条:完整版带
order_id和金额,残缺版只删这两项,其余措辞不变;完整版允许直接调change_booking,残缺版的合法首动作只能是澄清话术。