跳到主要内容

在线聊天的 TTFT 变成两秒,因为离线作业在共享推理池里塞进 8k 的 prefill。租户配额、KV 分页以及连续批处理该怎么切开,避免交互被饿死?

Agent 工程化与运行环境中级规划

题目​

在线聊天的 TTFT 变成两秒,因为离线作业在共享推理池里塞进 8k 的 prefill。租户配额、KV 分页以及连续批处理该怎么切开,避免交互被饿死?

参考答案​