为什么知识库更新链路常使用消息队列?
题目
为什么知识库更新链路常使用消息队列?
参考答案
点击展开参考答案
- 解析、OCR、切分、embedding、索引和权限发布是耗时可失败的多阶段任务,MQ 用于解耦上传、削峰和独立扩展。
- 事件带文档/租户/版本/幂等键;消费者状态机记录每阶段,重复消息不重复 chunk;可重试错误退避,永久错误进死信/人工。
- 完成新正文、向量、倒排和 ACL 后原子发布索引版本。
- 小规模系统可用数据库任务表,避免不必要基础设施。
- 需监控任务积压、各阶段耗时、失败/死信、版本不一致和索引可见延迟,并提供按文档重放与补偿工具;否则 MQ 只会把同步失败变成更难发现的异步失败。