用户开始引用作废制度,尽管 recall@10 随 chunk 由 256 拉到 1024 而上升。怎样把端到端那一个分拆开,分辨撒谎发生在检索、重排还是生成?
题目
用户开始引用作废制度,尽管 recall@10 随 chunk 由 256 拉到 1024 而上升。怎样把端到端那一个分拆开,分辨撒谎发生在检索、重排还是生成?
参考答案
点击展开参考答案
- 先不要看「答案好不好」一个分。
- 对每条样本记三件事:现行有效的制度块有没有进 top-k、进了之后有没有进生成窗口、生成里的每条断言能不能在窗口内找到支撑。
- chunk 变长常会抬高 recall@k——金句更容易落进某个大块——同时把新旧条款揉进同一块,重排和生成都更容易引用过期句。
- 哪一层断了,就只改那一层。
- 评测对象按管道拆:检索看 recall@k / nDCG,但金标必须是「文档 ID + 生效版本 + 段落」,不能只是文件名;若 top-10 里只有作废版,这是语料版本和检索问题,不是生成幻觉。
- 重排看现行块是否进入实际拼接的 n 段(例如 3–5 段、合计 1–2k token);大 chunk 会占满窗口,重排即便分数对也可能塞不进现行段。