Continuous Batching 是什么?和 Static Batching 的区别?
题目
Continuous Batching 是什么?和 Static Batching 的区别?
参考答案
点击展开参考答案
- Static Batching:等一批请求凑齐后一起跑,跑完这一批再跑下一批;问题是长请求要等短请求,GPU 利用率低。
- Continuous Batching(也叫 In-flight Batching):不等整批完成——一个请求生成完了,立刻从队列里取下一个新请求插进来;动态拼 batch。
- 效果:GPU 利用率从 ~20% 提升到
60%+;吞吐量提升 38 倍。 - 为什么之前不这么做?(答:传统训练框架是静态 batch 设计;推理场景下 vLLM 等重新设计了调度器,支持动态拼接 batch)
- 追问:Continuous Batching 为什么能提升吞吐?(答:短请求不用等长请求,GPU 永远有事做;避免了 batch 中最慢的请求拖慢整批的问题)