IBM detalha modelos Granite Switch 4.1 para conversa, decisões e áudio
Em publicação no Hugging Face, a IBM descreve os modelos Granite-Switch-4.1-8B e 30B, que combinam conversa, classificação e processamento de fala.
A IBM detalhou os modelos Granite-Switch-4.1-8B e Granite-Switch-4.1-30B em uma publicação no Hugging Face. Segundo a empresa, cada modelo combina um modelo-base com adaptadores para conversa, decisões e processamento de fala, ocupando aproximadamente a mesma quantidade de memória de vídeo da GPU que o modelo-base sozinho.
Os adaptadores podem reutilizar o cache criado pelo modelo-base, e a IBM também cita contribuições da equipe ao vLLM, sistema de execução de modelos, e um codificador de reconhecimento de fala integrado. Em uma demonstração, o modelo de 8 bilhões de parâmetros transcreve áudio, gera resumos, identifica conteúdo nocivo e verifica outras 15 condições definidas pelo usuário em um único ponto de acesso, em tempo real.
A empresa afirma que o modelo 30B concluiu um fluxo de trabalho de cinco etapas com busca e geração mais rápido que o Jev-27B, mas não informa os tempos medidos. Em outro exemplo, um modelo Granite Switch personalizado de 3 bilhões de parâmetros tomou de 60 a 100 decisões por segundo no jogo Doom; a comparação cita 10 decisões por segundo atribuídas ao Jev. A publicação também diz que os modelos 8B e 30B vêm com adaptadores predefinidos e que usuários podem combinar os da biblioteca Granite Libraries.
O que muda para você
Os modelos 8B e 30B vêm com adaptadores predefinidos, e desenvolvedores podem combinar outros da biblioteca Granite Libraries para criar versões próprias. A demonstração mostra transcrição, resumo e classificação de áudio em um único ponto de acesso, mas a publicação não detalha preço, condições de acesso ou requisitos de uso. Para quem não trabalha com desenvolvimento de modelos, não há mudança imediata.
Minha leitura
O ganho que a IBM apresenta está em reunir tarefas especializadas sem aumentar na mesma proporção o uso de memória da GPU. Isso pode ser relevante para equipes que processam áudio e precisam aplicar classificações específicas. Mas velocidade e desempenho aparecem como resultados divulgados pela própria empresa, e a comparação com o Jev não traz tempos medidos. A decisão prática depende de testar essas tarefas nos dados e no fluxo de trabalho que cada equipe realmente usa.
Thiago FelizolaConsultor de IA, curador do Diário da IA
