AWS libera SGLang-Neuron para servir modelos nos chips Trainium
A Amazon anunciou a disponibilidade pública do SGLang-Neuron em um contêiner de aprendizado profundo da AWS. O plugin também permite gerar etapas de aprendizado por reforço com a interface do SGLang.

A Amazon anunciou a disponibilidade pública do SGLang-Neuron, plugin que conecta o sistema SGLang aos chips Trainium da AWS. O acesso é feito por um contêiner de aprendizado profundo da AWS, lançado pela RadixArk em colaboração com a Annapurna Labs.
Com o plugin, equipes podem servir modelos e gerar etapas de aprendizado por reforço usando a interface do SGLang. A execução usa PyTorch nativo. O SGLang mantém o servidor de solicitações e o gerenciamento de cache, enquanto o plugin implementa os componentes específicos do Trainium.
O material também descreve uma configuração que separa o processamento do prompt da geração dos tokens seguintes. Nela, um servidor transfere o cache do prompt para outro usando NIXL e Elastic Fabric Adapter. Para seguir o guia, é preciso uma instância Trainium3 do Amazon EC2 e um contêiner específico. A documentação do projeto lista os modelos, recursos e configurações validados.
O que muda para você
A novidade atende principalmente equipes que usam SGLang e têm acesso à infraestrutura Trainium da AWS. Para experimentar, é preciso uma instância Trainium3 do Amazon EC2 e o contêiner indicado; a documentação lista os modelos e as configurações compatíveis. O anúncio não informa preço nem indica disponibilidade fora desse ambiente.
Minha leitura
Manter a interface conhecida do SGLang reduz a adaptação necessária para executar modelos no Trainium, mas não garante compatibilidade ampla. A documentação ainda delimita quais modelos e configurações foram validados. Para decidir se essa opção serve ao trabalho, o critério é conferir essa lista e testar o desempenho na configuração que a equipe pretende usar.
Thiago FelizolaConsultor de IA, curador do Diário da IA

