NVIDIA detalha comunicação Reshard para transferir pesos entre GPUs
A NVIDIA publicou uma implementação de referência aberta do Reshard para atualizar pesos entre GPUs de treinamento e inferência. Nos testes da empresa, o método foi de 2,7 a 5,7 vezes mais rápido que a abordagem convencional.
A NVIDIA publicou detalhes do Reshard, uma operação de comunicação entre GPUs voltada à atualização de pesos durante o pós-treinamento por reforço. A implementação de referência NCCL M2N Reshard está disponível como código aberto no repositório NVIDIA/nccl-extensions e também foi integrada ao framework NeMo RL.
Nesse processo, GPUs de treinamento atualizam o modelo enquanto GPUs separadas fazem inferência. Os pesos precisam ser transferidos periodicamente, embora cada grupo de GPUs possa distribuí-los de maneira diferente. Segundo a NVIDIA, a abordagem convencional reúne os pesos antes de redistribuí-los, o que gera tráfego redundante. Para os maiores modelos abertos atuais, a empresa estima uma carga lógica de comunicação de cerca de 10 TB por atualização.
O Reshard calcula quais partes dos pesos cada GPU de destino precisa receber. Nos testes divulgados pela NVIDIA em sistemas DGX H100 (NVL8) e DGX GB200 (NVL72), a atualização foi de 2,7 a 5,7 vezes mais rápida que com a abordagem convencional. Em um microbenchmark de atualização, o Qwen3.8 2.4T em BF16 levou 4,3 segundos. A implementação usa Reshard para os pesos dominantes das camadas feed-forward e mantém o método convencional para outros pesos.
O que muda para você
A implementação serve a equipes que fazem pós-treinamento por reforço com várias GPUs. Desenvolvedores podem consultar o código aberto e a integração de referência no NeMo RL para adaptar a abordagem, desde que atendam aos requisitos de configurações e formatos descritos pela NVIDIA. Para quem apenas usa modelos prontos, nada muda de imediato: a novidade trata da infraestrutura de treinamento.
Minha leitura
A redução de tempo pode importar para equipes que repetem a transferência de pesos durante o treinamento, mas o resultado depende da configuração de GPUs e da distribuição dos parâmetros. A própria implementação combina dois caminhos: Reshard para os pesos que concentram a maior parte do volume e o método convencional para os demais. Eu olharia para o tempo de atualização no sistema completo, não só para o resultado do microbenchmark.
Thiago FelizolaConsultor de IA, curador do Diário da IA
