A NVIDIA publicou um guia que compara duas arquiteturas comuns de modelos de linguagem: densa e Mixture-of-Experts (MoE). O texto usa o Nemotron 3.5 Lightning como exemplo de MoE, com cerca de 30 bilhões de parâmetros no total e cerca de 3 bilhões ativos por token.
Num modelo denso, todos os parâmetros entram em cada processamento. No MoE, o modelo mantém vários blocos feed-forward, chamados de especialistas, e um roteador escolhe apenas um subconjunto deles para cada token, em cada camada. A decisão é refeita camada por camada; o mecanismo de atenção continua sendo usado normalmente.
O guia diz que essa diferença separa melhor memória e trabalho por token. No modelo denso, os dois custos caminham juntos. No MoE, todos os especialistas precisam caber na memória da GPU, mas o trabalho feito a cada token depende só dos especialistas selecionados. Por isso, o MoE tende a ser mais rápido em lotes pequenos, enquanto a vantagem de latência diminui em alta concorrência.
Na comparação citada, Gemma 4 31B e Nemotron 3.5 Lightning têm tamanho total parecido, mas faixas de velocidade de saída diferentes entre provedores de GPU da NVIDIA. O texto também observa que o Lightning usa camadas Mamba-2 e decodificação especulativa, fatores que afetam o desempenho além da arquitetura MoE.