MoE架构

🍋🍋AI学习🍋🍋

🔥系列专栏： 👑哲学语录: 用力所能及，改变世界。
💖如果觉得博主的文章还不错的话，请点赞👍+收藏⭐️+留言📝支持一下博主哦🤞

一、Decoder-only原始架构

在MoE中，decoder-only就是改造的前馈神经网络层。

二、MoE图解

三、前向传播过程

以Top-k (k=1 或 2)为例：

1、计算路由权重

2、选择专家

• 取权重最大的 k 个专家，得到索引集合 S(x)。

3、专家前向

• 对选中的每个专家 e：

4、加权合并

五、MoE的优势

1、参数量大，计算量可控

（1）普通 Transformer：每次前向传播都要用到所有参数，想增加容量就必须增加计算量。

（2）MoE：可以把参数拆分成 N 个“专家”，每个 token 只激活Top-k个专家（常见 k=1 或 2）。

（3）计算量 ≈ k/N × 总参数量，总参数可以做到数百亿甚至上万亿，而实际每步计算只相当于几十亿。

2、表达能力更强

不同专家可以学习不同的子任务/语义模式（例如语法、数学、代码、图像描述等）。

通过 gating 机制，每个 token 动态选择专家 →条件计算 (conditional computation)， 类似于“如果输入属于某类特征，就让某些专家专门处理”

3、训练与扩展灵活

易于扩展：只需增加专家数量即可增加模型容量，而计算成本几乎不变。

模块化训练：专家可以并行分布到不同 GPU/节点，方便大规模分布式训练。

局部更新：理论上可以只更新某些专家以实现增量学习或领域适配。

4、更好的多样性与鲁棒性

由于专家学习到不同的特征空间，模型在面对分布外数据时往往更有鲁棒性。

对长尾任务更友好：稀有任务可能被特定专家捕获，而不会被主流任务“淹没”。

六、常见变体

• Switch Transformer：Top-1 路由，最简单高效。

• GShard：Top-2 路由 + 负载均衡 loss。

• Mixtral、DeepSeek-MoE：更大规模专家、改进 gating、共享路由策略。

• Shared MoE / Residual MoE：增加共享专家或残差，稳定训练。

七、总结

MoE 的前馈网络内部仍然是“升维→激活→降维”的 FFN， 区别在于：

不止一个 FFN，而是多个专家并存，由门控网络为每个 token 动态选择少数专家执行， 这样可以在保持计算成本可控的同时显著扩大模型容量与表示能力。