检索日志命中的是 14 天退货政策,客服回复却写成知识库没有的 90 天。幻觉、检索错配、指令遵循失败三者如何取证区分,该动哪一层?
题目
检索日志命中的是 14 天退货政策,客服回复却写成知识库没有的 90 天。幻觉、检索错配、指令遵循失败三者如何取证区分,该动哪一层?
参考答案
点击展开参考答案
- 先核对三份证据:召回块原文、模型引用的 chunk_id、以及输出里的数字能否在任一召回块中作为子串出现。
- 块是 14 天、输出写成 90 天且指不回原文,就是生成期幻觉;召回了过期页、竞品页或切错的相邻章节,才是检索错配;系统已要求「无依据不写期限」却仍编造,则是指令遵循失败。
- 修法按层:检索改版本过滤和切块;幻觉加强制引用与数字回指,指不回就剥句或转人工;指令失败则降随机性、收紧解码约束,并用「无依据必须拒」金集回归。
- 退货天数这类高伤害数字不能靠通顺度验收。
- 一次请求的数据流是:问退货 → 查询改写 → 向量加关键词召回 → 重排 → 带
chunk_id的块进入提示 → 解码 → 引用与数字校验。 - 幻觉出在生成器:预训练把「电商客服 + 退货」的高似然话术(语料里 30/90 天极常见)填进空位,即使 14 天块就在窗口里。