跳到主要内容

有块加速器在推理资源池里死掉,所有按 token 解码的长对话一并垮掉。为把续写迁到别处而非推倒重来,请求、运行时缓存、会话记录该如何切开?

Agent 工程化与运行环境中级成本规划

题目​

有块加速器在推理资源池里死掉,所有按 token 解码的长对话一并垮掉。为把续写迁到别处而非推倒重来,请求、运行时缓存、会话记录该如何切开?

参考答案​