晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?
题目
晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?
参考答案
点击展开参考答案
- LLM 副本变 Ready 很慢:装权重、建上下文、预热内核,往往几十秒。
- 按 GPU 利用率扩是滞后且吵的——decode 常受带宽限制,SM% 可以只有四成但队列已经很长。
- 应按排队等待、在途 token/KV 水位和 TTFT SLO 燃烧度扩,并维持已经装好模型的预热池。
- 缩容要有滞回,先排空在途生成,且不得低于预热下限,避免装上就卸、卸了又装。
- 有用信号:到达率 × 分位服务时间 → 所需并发槽;队列深度及其导数;KV 占用(KV 满是硬容量,即使 SM 很低);若 prefill/decode 分池,两池分开扩。
- 会撒谎的信号:SM 利用率、不看 token 数的裸 QPS、网关 CPU。