训 70B 时切成八段流水线,空泡大约占掉单步时间的四成。该把微批加上去、换成 1F1B 调度,还是承认阶段切得过细?
题目
训 70B 时切成八段流水线,空泡大约占掉单步时间的四成。该把微批加上去、换成 1F1B 调度,还是承认阶段切得过细?
参考答案
点击展开参考答案
- Bubble 比例大约是
(P−1)/(M+P−1)。 - P=8 且只有 8 个微批时,空泡约 7/15≈47%,和“四成”对得上。
- 把微批数加到远大于阶段数(例如 M=32,空泡约 7/39≈18%),或改用 1F1B 让前向后向交错,把悬挂激活从“所有微批同时在飞”里救下来。
- 若全局 batch 锁死、微批加不上去,八阶段就不划算,应降低 P,改用更多张量并行或换更大显存的卡。
- 流水线把相邻层块放在不同设备上:微批 b 在阶段 1 算完前向,把激活传到阶段 2,同时阶段 1 接下一个微批。
- 先跑完所有微批前向再后向的调度,需要存 M 份激活,显存压力大,bubble 出现在填满和排空两端。