跳到主要内容

两周预训练:单卡装得下 7B、装不下 70B。数据并行与模型并行分别在什么时机采用?每一步同步的对象有何差异?

模型选型与微调中级模型选型与微

题目​

两周预训练:单卡装得下 7B、装不下 70B。数据并行与模型并行分别在什么时机采用?每一步同步的对象有何差异?

参考答案​