硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?
题目
硬件一共 32 张卡,短闲聊(200 进 / 200 出)约占 80%,16k RAG 约占 20%。decode 被长 prefill 堵住会抖成什么样、16k KV 跨机拷贝要多少毫秒,估完这两笔再决定分不分池?
参考答案
点击展开参考答案
- 先算干扰和搬运,再决定拆不拆。
- 两成 16k prefill 已足以在混部时周期性堵住 decode,闲聊的 TPOT SLO 会抖;拆池能让 decode 卡只做带宽墙工作、prefill 卡只做 GEMM。
- 但 16k 的 KV 要从 prefill 池拷到 decode 池,体积大约是层数 × KV 头 × 头维 × 长度 × 2(K/V)× 宽度字节;跨节点若只有几十 GB/s 量级的网,拷贝本身就能到数十到上百毫秒,可能吃掉 TTFT 收益。
- 小集群、普通以太网时优先 chunked prefill;互联是 NVLink 或 RDMA 量级、且两边 SLO 都很紧,才值得拆。
- 示意账:70B 级、GQA、8k–16k 上下文,单请求 KV 常见数 GB(精确值随层数、头数、是否量化变)。
- 节点内 NVLink 数百 GB/s,拷 2GB 大约 10ms 量级;跨机 25–100 GbE 则可能 200ms–1s,拆了还不如同卡切块。