常见的 Chunking 策略有哪些?怎么选 chunk size?
题目
常见的 Chunking 策略有哪些?怎么选 chunk size?
参考答案
点击展开参考答案
- 固定长度分块:按 token 数硬切,最简单;缺点是可能切断句子/段落语义。
- 递归分块(RecursiveCharacterTextSplitter):先按段落切,太大再按句子切,尽量保持语义完整;LangChain 默认方案。
- 语义分块(Semantic Chunking):用 embedding 相似度判断语义边界,语义突变的地方切分;效果好但成本高。
- 结构化分块:按文档结构(标题、章节、表格)切分,保留层级信息;适合技术文档、法律文档。
- chunk size 选择经验:常用 256~1024 token;太小会上下文不完整,太大引入噪声、降低检索精度;overlap 一般设为 chunk size 的 10%~20%。
- 追问:为什么需要 overlap?(答:避免正好切在两个相关句子中间,导致两边都丢失上下文;overlap 让相邻 chunk 有重叠信息,保证检索到任一块都有完整语义)
- 追问:表格和图片怎么处理?(答:表格转 Markdown/HTML 文本再 embedding;图片用多模态模型生成描述文本)