升至 5000 rps 后检索率先超时、GPU 队列接着被灌满。100 rps 压测下同步聊天路径本还能稳住。扩副本、打开连续批、把非交互步骤挪出同步链,三者该怎么取舍?
题目
升至 5000 rps 后检索率先超时、GPU 队列接着被灌满。100 rps 压测下同步聊天路径本还能稳住。扩副本、打开连续批、把非交互步骤挪出同步链,三者该怎么取舍?
参考答案
点击展开参考答案
- 50 倍流量会依次打满不同资源,不能只给应用层加副本。
- 先看饱和信号:向量库 QPS 和连接、embedding 队列、GPU KV 占用和调度队列、下游工具线程池。
- 检索先超时说明同步链在模型之前已经破了,应先给检索做缓存、分片和隔离,而不是先买 GPU。
- GPU 随后排队,说明交互 decode 槽位不够:短请求靠连续批处理和更多副本摊,长总结、重嵌和评测必须离开同步对话池。
- 100 rps 时单副本或单检索实例往往还有空闲,问题被平均延迟掩盖。
- 5000 rps、均输入 1.5k、输出 150 token,光输出就是每秒约 75 万 token,这不是多开几个 Web 进程能吃下的;即便 7B 级高吞吐引擎,也要按单副本可持续 QPS(例如示意数十到一两百,取决于长度和批)反推副本数,再加 KV:例如每 token 约 100–300KB 量级(视层数、GQA、精度),长尾 8k 上下文会先把显存打满。