单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?
题目
单卡工作集在 70B 压到 INT4 之后仍然装不下。什么时候才必须跨卡切开模型,而不是再压精度或换更小的网?
参考答案
点击展开参考答案
- 分片解决的是「单设备放不下完整工作集」,不是默认的加速器。
- 先穷尽不切模型的手段:换更小但达标的模型、权重量化、缩小最大上下文或并发以压缩 KV。
- 只有质量或延迟 SLO 不允许再压,且你接受跨卡通信和运维复杂度时,才把权重(必要时连 KV)切到多设备。
- 切早了,小 batch 上的集合通信会先打穿延迟;切晚了,只能 OOM 或拒答。
- 工作集 ≈ 权重量 + KV + 激活 + 运行时。
- 70B bf16 权重大约 140 GB,一张 80 GB 卡放不下;INT4 权重大约 35 GB,卡上还能留几十 GB 给 KV,许多「单卡装不下」其实是高并发长上下文把 KV 抬上去了——这时先限并发或做 KV 量化,不必上分片。