生成总缺同节里的定义与例外,尽管条款召回已经够准。把块直接做大为什么不是办法,而要把召回粒度与送入模型的上下文粒度拆开?
题目
生成总缺同节里的定义与例外,尽管条款召回已经够准。把块直接做大为什么不是办法,而要把召回粒度与送入模型的上下文粒度拆开?
参考答案
点击展开参考答案
- 检索要的是可区分的短向量,生成要的是完整论域。
- 条款、例外和术语定义常常隔着两三段,一块大到能装下整节时,向量会被并列条款平均掉,命中反而变差。
- 正确拆法是:子块(大约 100–250 token)只负责召回,命中后再映射到父块(一节或一页,大约 800–1500 token)送给模型。
- 加大分块是在同一个粒度上同时牺牲可检索性和可读性;父子分离是让两个目标各用各的窗口。
- 入库时按标题切开父块,父块内再切子块,子块向量进 ANN,元数据带
parent_id和字符偏移。 - 查询:ANN 取子块 top-k → 去重父块 → 按原文顺序拼给模型,必要时只扩同一父块的相邻一句,而不是整章。