MoE
Mixture of Experts：将每个 token 路由到少数几个专家子网络，而不是所有参数。
概览
混合专家模型包含许多专家子网络和一个路由器，路由器将每个 token 只发送给其中少数几个专家。它解决了扩展稠密模型时的成本问题——在稠密模型中，每个参数都会用于每个 token。它之所以存在，是因为这样一来，总容量和每个 token 的计算量就可以分别增加，因此模型能够容纳多得多的知识，而推理成本不会成比例上升。
技术图谱
MoE 如何与技术栈的其他部分相连。
使用与依赖
- Neural Network concept Algorithms MoE based on Neural Network High ✓ source