两小时的讲座要精确到秒,手头只有一张幻灯截图,嘴里还说「讲报价表的那段」。离线跨模态索引和在线查询各干什么,才不用对着整段视频做全量扫描?
题目
两小时的讲座要精确到秒,手头只有一张幻灯截图,嘴里还说「讲报价表的那段」。离线跨模态索引和在线查询各干什么,才不用对着整段视频做全量扫描?
参考答案
点击展开参考答案
- 离线把视频切成带时间戳的检索单元:镜头关键帧的视觉向量、ASR 字幕、幻灯片 OCR,分别写入向量索引和倒排索引;在线用截图走图搜图、用句子走文本检索,再按时间桶融合,返回起止秒和可点证据,而不是整段文件。
- 查询路径禁止对原始帧做全量前向。
- 两小时讲座按镜头切通常是数百个单元,按 1fps 切也只是数千帧量级,ANN 加重排就能定位。
- 数据流是:容器解复用 → 音频送 ASR 得到带时间的句级字幕 → 视频按镜头边界(直方图或光流突变)抽关键帧,对关键帧做 OCR 和可选的一句场景描述 → 每个片段(常见 5–15 秒)写成一条记录:
t_start, t_end, frame_emb, text_emb, ocr, asr, shot_id。 - 视觉和文本不要强行塞进同一个 encoder:图搜图、文搜图用开放世界图文双塔(对比学习对齐后按余弦检索);专名、数字、报价表标题用 BM25/OCR 倒排补召回,因为短专名在 embedding 里不稳。