Gemini 1.5 是 MoE 架构。Open AI 是 Transform 架构的。传统 Transformer 充当一个大型神经网络，而 MoE 模型则分为更小的“专家”神经网络。根据给定输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径。
Search
Jan 14, 2025, 1 min read
Gemini 1.5 是 MoE 架构。Open AI 是 Transform 架构的。传统 Transformer 充当一个大型神经网络，而 MoE 模型则分为更小的“专家”神经网络。根据给定输入的类型，MoE 模型学会选择性地仅激活其神经网络中最相关的专家路径。