70B 稠密模型粗算下来参数大部分落在 MLP。这如何指导你加宽 FFN、堆叠层数,以及是否用 MoE 替换 FFN?
题目
70B 稠密模型粗算下来参数大部分落在 MLP。这如何指导你加宽 FFN、堆叠层数,以及是否用 MoE 替换 FFN?
参考答案
点击展开参考答案
- 一层里注意力的 QKV 加输出投影大约是 4d²;膨胀比约 4 的两层 MLP 大约是 8d²,SwiGLU 常见三块投影、中间维大约 (8/3)d 到 4d,FFN 仍通常占一层参数的大半。
- 加宽 FFN 是加容量最直接的旋钮;加层会同时复制注意力和 FFN,并且增加 KV cache 的层数。
- MoE 则是把这份最重的 FFN 复制成多专家、每 token 只激活少数,用几乎不变的每 token 算力换更大总参数。
- 注意力已经把上下文混进每个位置后,FFN 对每个 token 独立做非线性——常见 SwiGLU:SiLU(xW_gate) ⊙ (xW_up),再乘 W_down。
- 它不看邻居,负责通道内重组合和记忆型映射。