A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?
题目
A100 的 80GB 规格、H100、还有 L40S,在同一机房既要扛高 QPS 的 13B 客服、又要偶尔接 70B 深度问答时,该如何混配而不是只采购单一型号?
参考答案
点击展开参考答案
- 13B 高并发吃的是卡的张数、显存带宽和每美元吞吐,48 GB 级的 L40S 一类推理卡通常更合适。
- 70B 吃的是单机显存和卡间互联,A100 80GB 或 H100 才能用较小的张量并行度放下权重并保持低单步延迟。
- 混布比全上旗舰卡便宜,前提是路由把两类流量切开,避免 70B 的 KV 把 13B 的并发池挤爆。
- 选型先算“放得下”再算“跑得快”。
- 13B BF16 权重约 26 GB,一张约 48 GB 的推理卡就能留出 KV 做几十路 4K 会话;这类卡的价值在采购成本和推理密度,不在训练峰值算力。