嵌套条款的合同、成对短问答的 FAQ、几乎无标题的会议纪要,分别该配固定长度切分、语义边界切分还是按标题递归切分?
题目
嵌套条款的合同、成对短问答的 FAQ、几乎无标题的会议纪要,分别该配固定长度切分、语义边界切分还是按标题递归切分?
参考答案
点击展开参考答案
- FAQ 按问答对切开,或用固定长度,因为检索单元已经是一对问答,不必再找主题边界。
- 合同按标题和条款号递归切:先章、再条、再句,直到落入长度上限,避免把“但书”和例外切到下一块。
- 会议纪要没有稳定层级,用句边界上的固定长度,或在相邻句嵌入相似度明显下降处切开;不要假装它有目录。
- 固定长度是滑窗,按 N 个 token 切、可选重叠。
- 块大小均匀,索引体积和批嵌入时间都好比;代价是表格行、编号列表和“第 7.2 条之例外”容易拦腰截断。