i14 detalha o treinamento e a geração do Laplace 3B na AWS Trainium2
Em parceria com a AWS, a i14 treinou e serviu seu modelo de atenção linear em uma instância trn2.48xlarge. O estado recorrente fica em 29,5 MB por sequência, qualquer que seja o tamanho do contexto.
A i14 e a AWS detalharam como treinaram e serviram o Laplace 3B, um modelo de atenção linear, em uma instância trn2.48xlarge com Trainium2. A equipe usou o TorchNeuron Native, que permite executar PyTorch nos aceleradores, preservando a arquitetura GLA do modelo e o otimizador Muon.
O estado recorrente do Laplace 3B ocupa 29,5 MB por sequência, independentemente do tamanho do contexto. Em transformers, o cache de chaves e valores cresce conforme o modelo processa tokens. A atenção linear comprime o histórico em um estado fixo; por isso, segundo a publicação, é preciso avaliar a qualidade da recuperação de informações para cada tipo de uso.
Após o aquecimento da compilação, o treinamento ficou em cerca de 120 mil tokens por segundo até a etapa 84.210, equivalente a aproximadamente 44 bilhões de tokens. A receita completa prevê 190.735 etapas e 100 bilhões de tokens. Na geração, a equipe registrou 11.544 tokens de saída por segundo com 1.280 sequências simultâneas, usando o vLLM sem modificações. Aumentar o prompt de 2.048 para 8.192 tokens elevou em 0,5% o custo por token de saída.
O que muda para você
Os resultados interessam a equipes que treinam ou servem modelos em AWS Trainium2. A publicação descreve uma implementação e medições nessa infraestrutura, mas não anuncia acesso geral ao Laplace 3B para usuários finais. Para aplicações com contextos longos, o estado fixo pode tornar o uso de memória mais previsível; ainda é preciso verificar se a compressão do histórico recupera as informações necessárias para cada tarefa.
Minha leitura
O ganho de memória vem acompanhado de uma escolha de arquitetura: o Laplace comprime o histórico em vez de guardar cada chave e valor. Isso pode favorecer tarefas longas, mas não garante que toda informação relevante continue fácil de recuperar. Eu avaliaria a arquitetura com exemplos reais da tarefa: o que precisa ser lembrado, o que pode ser resumido e quanto erro de recuperação é aceitável.
Thiago FelizolaConsultor de IA, curador do Diário da IA
:quality(85)/8f39f55a-b37b-41ad-b01d-3885f4b48b52.jpeg)