跳到主要内容

训 70B 时切成八段流水线,空泡大约占掉单步时间的四成。该把微批加上去、换成 1F1B 调度,还是承认阶段切得过细?

模型选型与微调中级模型选型与微

题目​

训 70B 时切成八段流水线,空泡大约占掉单步时间的四成。该把微批加上去、换成 1F1B 调度,还是承认阶段切得过细?

参考答案​