跳到主要内容

70B 稠密模型粗算下来参数大部分落在 MLP。这如何指导你加宽 FFN、堆叠层数,以及是否用 MoE 替换 FFN?

模型选型与微调中级模型选型与微

题目​

70B 稠密模型粗算下来参数大部分落在 MLP。这如何指导你加宽 FFN、堆叠层数,以及是否用 MoE 替换 FFN?

参考答案​