日志没有金标,用户却指出升级后的客服模型在编货号与到货日。本周如何报幻觉率?如何拆开「检索拿错商品」与「检索正确却仍虚构日期」?
题目
日志没有金标,用户却指出升级后的客服模型在编货号与到货日。本周如何报幻觉率?如何拆开「检索拿错商品」与「检索正确却仍虚构日期」?
参考答案
点击展开参考答案
- 先把幻觉写成“答案里不被允许证据支持的可核验声明”,不要用“听起来不对”。
- 这周从日志抽含商品或日期的回复,拆成声明,对当时检索片段或主数据做支持、矛盾、无证据标注;幻觉率是含至少一条无支持或矛盾声明的回复比例,并按货号、日期、政策分桶。
- 检索错了货:证据里就没有正确货号,模型可能复述错证据,或另外再编。
- 检索对了仍编日期:证据里有正确约束,模型写出不在证据里的日期。
- 有检索或知识库时,仪器是声明抽取,再对片段做蕴含判断或规则核对(货号正则、日期是否落在片段的日期集合)。
- 没有来源的开放闲聊只能标“与世界知识冲突”,必须有外部主数据或人工,不能靠模型自信度。