闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?
题目
闲聊请求的 p99 逐 token 间隔突然出现尖峰——这是把 prefill 可调度预算抬到能整段吞掉 20k RAG 提示之后发生的。原因是什么,块大小该如何往回调?
参考答案
点击展开参考答案
- 连续批处理里,一次 20k 的 prefill 会把 GPU 占满数百毫秒甚至数秒,同批里正在逐步 decode 的短对话只能空等,词间延迟出现尖峰,p99 被这几次「大象 prefill」拉爆。
- Chunked prefill 把长提示切成固定 token 块,每个调度步只做一块,并和其它请求的 decode 步拼进同一 batch,短请求每步都能往前走。
- 块太大,干扰回来;块太小,长提示自己的 TTFT 变差、调度开销涨。
- 调度器每个 step 的 token 预算有限。
- 若预算=20000,一个 RAG 请求独占一步,decode 请求的词间延迟就等于这次 prefill 的墙钟。