KV 全冷、新副本还在装权重。活动刚起势的三分钟,聊天到达率跳到日常约 20×。预热、优先级、削峰队列各自拦住过载的哪一截?如何避免这次尖峰变成所有人排队超时?
题目
KV 全冷、新副本还在装权重。活动刚起势的三分钟,聊天到达率跳到日常约 20×。预热、优先级、削峰队列各自拦住过载的哪一截?如何避免这次尖峰变成所有人排队超时?
参考答案
点击展开参考答案
- 尖峰的本质是到达率突然超过已热容量,而 GPU 权重加载往往要数十秒到数分钟,自动扩容赶不上这三分钟。
- 预热负责活动开始前就把副本和前缀缓存热好;优先级负责把热容量留给交互和付费;有界队列只吸收数秒级抖动,超了就拒或降级,绝不能把 20 倍流量全堆进队列把每个人拖到超时。
- 冷 KV 的新副本即便起来了,TTFT 也会差一截,所以扩容完成不等于容量可用。
- 设日常 80 rps、活动 1600 rps、持续 180 秒,多出来的大约 27 万次请求。
- 若平均处理 2 秒,要在 3 分钟内消化需要约 3200 个并发槽;现有池若只按日常 2–3 倍冗余配,必然丢请求。