周五要开服一套问答助手,高峰按同时 200 条在途请求来估,单次输入大约 2k token、输出大约 400 token。如何从「单卡可并行容纳多少 decode 槽位」倒推到卡数、队列与限额,而不是只抛平均 QPS?
题目
周五要开服一套问答助手,高峰按同时 200 条在途请求来估,单次输入大约 2k token、输出大约 400 token。如何从「单卡可并行容纳多少 decode 槽位」倒推到卡数、队列与限额,而不是只抛平均 QPS?
参考答案
点击展开参考答案
- 容量不能用平均 QPS 乘平均延迟交差。
- 先用 Little 定律把 200 路在途换成到达率:若端到端 p95 目标约 8 秒,可持续到达率大约是 25 请求/秒,再按峰值与均值比留余量。
- 真正卡住的是 decode 槽位和 KV 显存——prefill 吃算力,decode 吃显存带宽,一张卡同时能挂的序列数由「权重吃掉后还剩多少显存 / 每 token 的 KV」决定。
- 供应商的 RPM/TPM、检索 QPS,以及故障时少一池 GPU,都要单独进预算,不能假定模型服务永远按压测均值吐 token。
- 把一笔请求拆成两段:prefill 大致按输入长度吃 FLOPs,约 2000 token 的提示在大模型上可能就要数百毫秒到数秒,取决于并行度和是否命中前缀缓存;decode 每步都要读整段 KV,400 token 按每卡每秒数十到一百出头的生成速度(示意,视模型大小、量化、批大小而定)就要数秒。
- KV 可以自己算:例如 70B 级、GQA、约 80 层、每层 8 个 KV 头、head_dim=128、FP16,每 token 的 K+V 大约是 2×80×8×128×2 ≈ 320KB,一条 2.4k 上下文大约 0.75GB。