两周预训练:单卡装得下 7B、装不下 70B。数据并行与模型并行分别在什么时机采用?每一步同步的对象有何差异?
题目
两周预训练:单卡装得下 7B、装不下 70B。数据并行与模型并行分别在什么时机采用?每一步同步的对象有何差异?
参考答案
点击展开参考答案
- 7B 单卡能放下前向、反向和优化器状态时,走数据并行:每卡一份完整模型,吃不同微批,步末 AllReduce 梯度。
- 70B 单卡放不下时,必须先做模型并行(按层切或按张量切)把一段放进显存,再在外层叠数据并行扩样本吞吐。
- 两者同步的对象不同:数据并行同步整网梯度,模型并行同步的是每层激活或分片后的部分和。
- 数据并行的每张卡计算图相同,区别只是数据切片。
- 每步通信体积大约是 2×参数字节(梯度 AllReduce 的双向量级),7B BF16 梯度约 14 GB,在机内高速互连上往往能和后向计算重叠;它不降低单卡峰值显存——若优化器对每个参数再存两份状态,7B 可能再加数十 GB,80 GB 卡通常仍放得下。