多模态 RAG 怎么讲?
题目
多模态 RAG 怎么讲?
参考答案
点击展开参考答案
- 很多知识不只存在于纯文本里,尤其是 PDF、论文、报告、财报、手册和技术文档。
- 多模态 RAG 常见对象: - 图片 - 图表 - 表格 - 扫描件 - 公式 - 页面布局 常见方案: 1. 文本化:用 OCR、表格解析、图像理解模型把视觉内容转成文本摘要,再进入普通 RAG。
-
- 多向量:文本、图片、表格分别建索引,检索时多路召回。
-
- 实时视觉问答:回答阶段把图片交给多模态模型理解。
- 面试答法: > 多模态 RAG 的关键不是简单把图片丢进向量库,而是要让图表里的信息变成可检索、可引用、可评测的证据。
- 实践中常见做法是在入库阶段结合 caption、上下文和视觉模型生成结构化摘要,再把摘要和原始位置绑定。
- 这样既能复用文本检索链路,也方便做引用和评测。