首 token 延迟(TTFT)和吞吐量怎么优化?
题目
首 token 延迟(TTFT)和吞吐量怎么优化?
参考答案
点击展开参考答案
- TTFT(Time To First Token):用户发请求到收到第一个 token 的时间;主要瓶颈是 Prefill 阶段(处理整个 prompt 的大矩阵乘)。
- 优化 TTFT:(a) 用更快的 Prefill 实现(FlashAttention);(b) Chunked Prefill:把长 prompt 的 prefill 拆成小块,和 decode 请求混合调度,不阻塞 decode;(c) 减少 prompt 长度。
- 吞吐量优化:(a) Continuous Batching 提高 GPU 利用率;(b) PagedAttention 减少显存碎片;(c) 量化降低显存、提高 batch size;(d) Speculative Decoding。
- 权衡:TTFT 和吞吐量有时候是 trade-off——batch 越大吞吐越高,但每个请求的 TTFT 可能增加。
- 追问:Prefill 和 Decode 为什么要分开优化?(答:Prefill 是计算密集型(大矩阵乘,GPU 算力吃得满),Decode 是内存密集型(逐 token 读 KV Cache,算力利用率低);二者最优 batch 策略不同)