NVIDIA adiciona quatro modelos abertos à família Cosmos 3 para simulações
A NVIDIA publicou quatro checkpoints de pesos abertos para simulações de robótica e direção com múltiplos sensores. Os modelos são versões pós-treinadas do Cosmos 3 Nano, cada uma com 16 bilhões de parâmetros treináveis.
A NVIDIA adicionou quatro checkpoints de pesos abertos à família Cosmos 3, voltada à geração de simulações interativas. Os modelos são versões pós-treinadas do Cosmos 3 Nano, cada uma com 16 bilhões de parâmetros treináveis, e podem ser usados comercialmente ou não, conforme os termos da licença OpenMDW1.1.
Dois checkpoints são voltados à direção autônoma. O Transfer-Auto gera vídeo sincronizado para até 11 câmeras e pode produzir dados de LiDAR. O Sim-Auto gera sequências contínuas de vídeo e LiDAR a partir do histórico e de controles atualizados. Para adaptar o Transfer-Auto a outro conjunto de sensores ou ambiente, é preciso pós-treiná-lo com dados próprios.
Os outros dois modelos atendem à robótica. O Sim-Transfer transforma controles de um simulador de física em imagens; o Sim-Bimanual gera observações a partir de ações de robôs de dois braços e oferece suporte às plataformas YAM e AgiBot. A NVIDIA diz que ainda é preciso medir em que condições os modelos apoiam o treinamento e a avaliação de políticas e entender seus limites.
A execução requer Linux, uma GPU NVIDIA, Docker e NVIDIA Container Toolkit. A configuração publicada com vLLM-Omni foi testada em uma GB200, mas isso não estabelece a memória mínima necessária.
O que muda para você
Os checkpoints e as receitas de pós-treinamento servem a pesquisadores e desenvolvedores que trabalham com simulação de robótica ou direção. Eles podem baixar os modelos e gerar dados, mas adaptar o sistema a sensores e ambientes próprios exige dados e treinamento. A geração contínua também depende de controles atualizados; em alguns usos, requer um simulador e ferramentas para atualizar esses controles.
Minha leitura
Os pesos abertos facilitam experimentar e adaptar os modelos, mas não eliminam o trabalho de validação. A própria NVIDIA alerta que uma execução curta confirma apenas que o processo funciona, não que o treinamento convergiu. Para decidir se a simulação serve a uma aplicação, eu avaliaria os resultados em episódios que ficaram fora do treinamento e verificaria se representam as condições que a equipe precisa estudar.
Thiago FelizolaConsultor de IA, curador do Diário da IA
