如何保障流式连接下的稳定性?
题目
如何保障流式连接下的稳定性?
参考答案
点击展开参考答案
- 生成任务与网络连接解耦:run 在后台持久执行,连接只是订阅事件。
- 事件带单调 sequence,服务端用 event log/outbox 先落库再推送;客户端按 run+sequence 去重,SSE 用
Last-Event-ID、WebSocket 用 cursor 补发。 - 每租户限制连接与缓冲,慢客户端触发背压或只保留最新 snapshot,不能无限占内存。
- 统一网关和服务 idle timeout,使用心跳检测半开连接;断线默认不取消任务,显式取消才传播 cancellation token。