8 专家 top-2 的 MoE 训到一半,直方图显示某一个专家吃掉约 60% 的 token,其余接近饿死。辅助负载均衡损失、容量因子、token 丢弃各在干什么?把辅助损失系数拧大、或把容量因子提到 2,各有什么副作用?
题目
8 专家 top-2 的 MoE 训到一半,直方图显示某一个专家吃掉约 60% 的 token,其余接近饿死。辅助负载均衡损失、容量因子、token 丢弃各在干什么?把辅助损失系数拧大、或把容量因子提到 2,各有什么副作用?
参考答案
点击展开参考答案
- 辅助损失要惩罚「专家使用频率的方差」,把路由从「谁已经强谁更强」往均匀推;容量因子 C 规定每个专家本步最多接
C · (kN/E)个 token,多出来的走丢弃或溢出;丢弃则让超额 token 跳过专家 FFN,只走残差,质量直接缺口。 - 系数太大时路由接近均匀,专家不再分工,LM 损失升、表现像一个加了噪声的稠密 FFN。
- C=2 会少丢 token(但热专家若吃 0.6N,名额 0.5N 下仍要丢约 0.1N),而专家缓冲、all-to-all 体积和逐步核都变肥,还可能把崩塌藏进「大家都吃得下」而不是修好路由器。
- 崩塌是正反馈:某专家这一步略好 → 更多 token 选它 → 梯度更集中 → 更好选。
- 8 专家、每个 token top-2 时均匀应大约每专家 25% 的 token 份额(2/8);60% 落在一个专家上,等于其余专家几乎没在学。