为何不能让聊天推流和凌晨合同审查共用同一条同步的、长寿命 HTTP 连接?这套集群一边给在线聊天做推流,一边要在黎明前消化一万份合同审查。异步通道还要补上哪些状态?
题目
为何不能让聊天推流和凌晨合同审查共用同一条同步的、长寿命 HTTP 连接?这套集群一边给在线聊天做推流,一边要在黎明前消化一万份合同审查。异步通道还要补上哪些状态?
参考答案
点击展开参考答案
- 聊天需要在秒级内流式吐 token,连接必须握在调用方手里;一万份合同每份可能数分钟,同步路径会被网关超时、连接数和盲目重试打垮。
- 合同应走「提交 → 任务号 → 队列 → worker → 落库 → 回调或轮询」。
- 异步通道至少要有状态机、幂等键、可见性超时、失败重试与死信、结果过期和取消,否则只是把请求丢进一个没人认领的队列。
- 同步推理把连接和一次生成绑在一起,适合 TTFT、TPOT 被 SLO 卡住、输出必须逐 token 推送的交互;突发到来时只能拒答或扩容,不能先堆积一万个打开的长连接。
- 异步推理接入立刻返回任务号,生成在后台,调用方按任务号查状态。