对话进行到第 6 轮,机器人重新跟用户要早已报过的单号;话题一转,又把前一单的优惠算到了新用户身上。偏偏逐轮的裁判分一直平稳。要发现这类毛病,多轮评测得补查什么?
题目
对话进行到第 6 轮,机器人重新跟用户要早已报过的单号;话题一转,又把前一单的优惠算到了新用户身上。偏偏逐轮的裁判分一直平稳。要发现这类毛病,多轮评测得补查什么?
参考答案
点击展开参考答案
- 单轮分只看见「这一句像不像好客服」,看不见会话状态。
- 必须补三块:指代和已填槽位有没有在后续轮被使用、用户纠偏后状态有没有改写、话题或用户切换后上一单约束有没有泄漏。
- 测试脚本要故意拉长到 5–8 轮,中途改数字、插一句题外话再回来;只抽最后一轮给裁判,会把记忆失败评成通顺。
- ①槽位保持:第 2 轮给了订单号,第 6 轮不得再要;自动断言是状态机里
order_id仍在且提问不含「请提供订单号」。 - ②纠偏:用户说「不是 30,是 60」,之后所有计算和复述必须用 60;只评下一句道歉会漏掉第 8 轮又说回 30。