在线聊天的 TTFT 变成两秒,因为离线作业在共享推理池里塞进 8k 的 prefill。租户配额、KV 分页以及连续批处理该怎么切开,避免交互被饿死?
题目
在线聊天的 TTFT 变成两秒,因为离线作业在共享推理池里塞进 8k 的 prefill。租户配额、KV 分页以及连续批处理该怎么切开,避免交互被饿死?
参考答案
点击展开参考答案
- 把交互和离线拆成优先级不同的调度域:交互请求可插入连续批次,长 prefill 必须切块并与 decode 交错。
- KV 按固定 token 块分页,避免一条 8k 序列按最大长度预留后把显存撕碎。
- 配额按并发序列数和每秒 token 双向限制,而不是只按 QPS。
- 聊天的 SLA 是排队 + prefill + 首个 decode;离线看吞吐。
- 连续批处理允许在 decode 步之间加入新序列、退出已结束序列,GPU 不再等整批一起结束。
- 长 prefill 计算密集、会占满 SM;应限制单步 prefill token 数(chunked prefill),把剩余块和下一批 decode 交错,否则在线请求只能排队。