照片发票上的金额和嘴里说的对不上。跨模态该如何对齐,而不是偏信一侧或把两个数字平均?
题目
照片发票上的金额和嘴里说的对不上。跨模态该如何对齐,而不是偏信一侧或把两个数字平均?
参考答案
点击展开参考答案
- 先把每个模态抽成带来源和置信度的结构化槽位,再按字段对齐;对不上就标冲突,不要用自然语言和稀泥。
- 照片经 OCR 或版面解析得到金额、币种、日期、商户及框坐标;口述经语音识别得到同一组槽位和词级时间戳。
- 对齐键是字段,不是整段文本。
- 资金场景下冲突应按策略选权威源或升级,禁止把两个数字平均成第三个“事实”。
- 数据流是:媒体 → 专用识别(OCR / 语音 / 视觉语言模型)→ 单位和日期规范化 → 槽位表 → 裁决策略。
- 元数据必须留下页码、框、时间戳、模型版本,否则无法回放数字从哪来。