跳到主要内容

8 专家 top-2 的 MoE 训到一半,直方图显示某一个专家吃掉约 60% 的 token,其余接近饿死。辅助负载均衡损失、容量因子、token 丢弃各在干什么?把辅助损失系数拧大、或把容量因子提到 2,各有什么副作用?

模型选型与微调中级成本

题目​

8 专家 top-2 的 MoE 训到一半,直方图显示某一个专家吃掉约 60% 的 token,其余接近饿死。辅助负载均衡损失、容量因子、token 丢弃各在干什么?把辅助损失系数拧大、或把容量因子提到 2,各有什么副作用?

参考答案​