有块加速器在推理资源池里死掉,所有按 token 解码的长对话一并垮掉。为把续写迁到别处而非推倒重来,请求、运行时缓存、会话记录该如何切开?
题目
有块加速器在推理资源池里死掉,所有按 token 解码的长对话一并垮掉。为把续写迁到别处而非推倒重来,请求、运行时缓存、会话记录该如何切开?
参考答案
点击展开参考答案
- 把会话记录放在推理进程之外:对话历史、已提交的工具结果、用户已经看见的流式文本进会话存储;模型运行时的键值缓存只当作可丢的加速器。
- 单卡死亡后,编排器把未完成请求标成可恢复,带着“已发送前缀”到健康副本续跑或重算,而不是让客户端连接重置后再问一遍。
- 多副本、健康检查、熔断、过载排队仍然需要,但还要把冷启动、显存碎片、单卡死亡和检索索引不可用分成不同故障域。
- 逐 token 生成绑在该卡的运行时缓存上,卡死缓存就没了。
- 若已经向用户流出约两千个 token,从头再生成可能换一种说法,界面和审计都会裂开。