AWS adiciona partições de GPU a endpoints do SageMaker Inference
A AWS passou a oferecer suporte ao NVIDIA Multi-Instance GPU (MIG) no SageMaker Inference. O recurso permite executar modelos em partições isoladas de uma GPU, mas exige endpoints com componentes de inferência.
A AWS passou a oferecer particionamento de GPUs com NVIDIA Multi-Instance GPU (MIG) no Amazon SageMaker Inference. A tecnologia divide uma GPU física em partições com recursos próprios de computação e memória, isoladas por hardware. Assim, diferentes modelos podem ocupar partições da mesma GPU, ou um modelo pode usar uma fração do acelerador.
O recurso funciona apenas em endpoints com componentes de inferência, usados para implantar vários modelos em um endpoint e definir os recursos de cada um. Não se aplica a endpoints de modelo único, serverless ou com grupos de instâncias heterogêneas. Segundo a AWS, o SageMaker cuida da configuração, do posicionamento e do escalonamento das partições sem exigir que o cliente administre Kubernetes.
Cada GPU aceita até sete partições, dependendo do acelerador. O layout é definido ao criar o endpoint; para alterá-lo, as partições precisam estar ociosas. Modelos que precisam de mais de uma GPU continuam exigindo aceleradores inteiros. Nos testes da AWS, a divisão das GPUs acrescentou cerca de 17 segundos à provisão do endpoint.
A AWS ressalva que o isolamento se limita à GPU: modelos na mesma instância ainda compartilham CPU, memória do sistema, armazenamento, rede e roteamento do endpoint. A Salesforce ajudou a definir os requisitos e validou a implementação inicial; a empresa afirma que agora prepara testes com cargas de produção representativas.
O que muda para você
Para equipes que hospedam vários modelos em GPUs no SageMaker, o recurso permite alocar partições isoladas em vez de reservar uma GPU inteira para cada modelo. É preciso usar componentes de inferência e escolher o perfil de partição ao criar o endpoint. Quem usa endpoints de modelo único ou serverless não pode aplicar o recurso. A fonte não informa preço nem disponibilidade por região.
Minha leitura
A partição precisa caber no trabalho real do modelo, não apenas nos pesos. Durante a inferência, processamento e memória atendem a necessidades diferentes, e a configuração escolhida fica definida na criação do endpoint. Também há um limite importante: o isolamento cobre a GPU, mas não separa CPU, rede e outros recursos da instância. Para quem atende vários clientes no mesmo equipamento, essa distinção muda o que dá para prometer.
Thiago FelizolaConsultor de IA, curador do Diário da IA
