MoE 模型推理有什么特殊挑战?
题目
MoE 模型推理有什么特殊挑战?
参考答案
点击展开参考答案
- MoE(Mixture of Experts):每次只激活少数几个 expert(如 8 个 expert 选 2 个);总参数很大但激活参数少。
-
- (a) 专家路由不均衡:不同请求激活不同专家,GPU 显存里要放所有专家的权重,但每次只用一小部分,显存利用率低。
-
- (b) All-to-All 通信:token 要路由到对应专家所在的卡,多卡时通信开销大。
-
- (c) 动态 batch:不同 expert 的 batch 大小不一样,调度复杂。
- 优化:Expert Parallelism(EP)——每个卡放几个 expert,token 按路由结果卡间传输;专家量化降低显存。
- 追问:MoE 模型推理为什么比同 dense 模型慢?(答:虽然激活参数少,但 all-to-all 通信开销大;且专家分散在多卡,每次都要跨卡传输 token)