AWS adiciona suporte ao NVIDIA Dynamo no SageMaker HyperPod Inference
A AWS publicou um guia de implantação do Dynamo no SageMaker HyperPod Inference, com exemplos de inferência distribuída e resultados de testes. A integração permite separar o processamento de prompts da geração de respostas.

A AWS publicou um guia sobre o uso do NVIDIA Dynamo no Amazon SageMaker HyperPod Inference. O suporte permite distribuir a inferência entre várias instâncias e, em uma das configurações, separar o processamento dos prompts da geração de respostas. O HyperPod oferece rede de alta velocidade, coordenação do uso de GPUs e monitoramento e recuperação de nós.
O guia descreve dois caminhos de implantação: levar uma configuração existente do Dynamo ao HyperPod ou criar um endpoint com as configurações do SageMaker. Os mecanismos de inferência disponíveis são vLLM, SGLang e TensorRT-LLM; vLLM é o padrão no segundo caminho. O Dynamo também pode manter o processamento dos prompts e a geração no mesmo grupo de servidores. Em ambos os modos, o roteamento considera dados de contexto que podem ser reutilizados e a carga dos servidores.
Em um teste da AWS com Qwen3-235B-A22B-FP8 e 16 GPUs H200, o modo separado alcançou 207 tokens de saída por segundo por GPU, ante 101 no modo combinado. A comparação incluiu pontos com tempo P90 até o primeiro token abaixo de um segundo e geração mediana de pelo menos 50 tokens por segundo por usuário.
Em outro teste, com Qwen3.5-397B-A17B-FP8, a configuração distribuída por duas instâncias manteve 99,1% da taxa de geração por GPU de uma instância. A AWS ressalta que o modelo cabia em uma única instância, usada como base de comparação.
O que muda para você
A integração serve a equipes que já operam modelos no SageMaker HyperPod e precisam distribuí-los por várias instâncias ou separar o processamento de prompts da geração. Elas podem configurar um endpoint do SageMaker ou adaptar uma implantação existente do Dynamo; o complemento gerenciado instala os componentes necessários. A fonte não informa preço. Para quem não trabalha com essa infraestrutura, não há mudança imediata.
Minha leitura
Os resultados ajudam a entender onde o Dynamo pode fazer diferença, mas não viram uma promessa para qualquer modelo. A vantagem do modo separado depende da carga e das condições do teste; já a comparação entre uma e duas instâncias usou um modelo que cabia em uma só. Para uma equipe que opera o HyperPod, o critério é testar a configuração com o próprio modelo e medir se o ganho compensa a complexidade.
Thiago FelizolaConsultor de IA, curador do Diário da IA

