做一个图文问答系统,你会怎么选架构?
题目
做一个图文问答系统,你会怎么选架构?
参考答案
点击展开参考答案
- 需求明确:是通用问答还是特定领域?精度要求高不高?延迟要求?
-
- (a) 预算少、快速上线:直接调 GPT-4V / Claude 3 等 API。
-
- (b) 私有化部署、中等预算:LLaVA / Qwen-VL 开源模型 + 微调。
-
- (c) 特定领域、高精度:在开源多模态模型上用领域数据微调。
- 架构:图像编码器 + 对齐层 + LLM(LLaVA 范式);如果需要 OCR,加专门的 OCR 模块。
- 追问:表格图片怎么处理?(答:专门的表格理解模型,或者先 OCR 出文本再用 LLM 处理)