多模态内容先转文本再 RAG,会丢失什么?如何保留?
Agent 学习与策略优化中级RAG
多模态内容先转文本再 RAG,会丢失什么?如何保留?
参考答案
点击展开参考答案
- OCR/描述容易丢图表空间关系、曲线交点、表头—单元格对应、架构图连线、页面布局和颜色编码。
- 只保存“图中有 A、B”无法回答 A 到 B 的方向或某行某列数值。
- 方案是同时保存原图/页坐标、结构化表格/图节点边、文本描述和来源区域。
- 检索先用文本/metadata 找候选,再让多模态工具针对原始区域回答具体问题;表格按单元格结构索引,图谱按节点关系索引。
- 评测视觉关系、引用框位置和数值保真;高风险数据回到原始文件核验。