JetBrains Lança Mellum2, Modelo MoE de 12B para Inferência Rápida de Texto e Código

Estamos lançando o **Mellum 2**, um Modelo de Linguagem (LLM) multimodal de código aberto que entende texto e imagens. O modelo é baseado em uma arquitetura **Mixture of Experts** e vem em **4 tamanhos**: 1B, 3B, 9B e 27B de parâmetros ativos (com o maior modelo tendo ~47B parâmetros no total, incluindo o codificador visual). Mellum 2 é projetado para eficiência, transparência e uso comunitário. ## Pontos principais: - **Licenciado sob Apache 2.0** – os usuários podem acessar a arquitetura, dados de treinamento e código. - **Multimodal**: integra texto e visão via um codificador visual. - **MoE (Mixture of Experts)**: essa abordagem ativa apenas um subconjunto de parâmetros por token, tornando a inferência computacionalmente eficiente. - **Opções de tamanho**: desde uma versão pequena de 1B parâmetros para tarefas leves até o carro-chefe de 27B/47B para raciocínio avançado. - **Treinado em dados de alta qualidade**, com ênfase em codificação, matemática, compreensão visual e seguimento de instruções. O modelo e o material relacionado estão disponíveis no [hub da JetBrains no Hugging Face](https://huggingface.co/JetBrains).