跳到主要内容

晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?

Agent 性能优化中级性能优化

题目​

晚高峰队列先爆、新副本随后空转,扩缩容却仍在 GPU 利用率超过 70% 时加机器。新副本就绪要 40~90 秒才能吃到首个 7B 请求。触发信号和预热池该怎么动,使得按队列与 SLO 扩出,并只在持续低负载后才缩回?

参考答案​