MOE (Mixture of Experts，专家混合模型)：一种神经网络架构，结合多个专家子模型进行工作，通过负载均衡提高效率，适用于大规模模型。
通过动态组合多个子模型（专家）可以来提升神经网络效率和性能的技术。
其核心思想是，让不同专家专注于处理特定类型的输入，通过智能分配任务实现高效计算，尤其适合大规模模型的训练与推理。
可以简单理解成，一个问题多个人来回答，只是每个人回答自己的那部分。
比如 乒乓球和鸡蛋一样吗？
可能会有一个运动专家和一个生物专家，又或者还有食品专家 一起研究答案。
