NVIDIA detalha amostras em C++ para rodar IA local com ONNX Runtime e TensorRT RTX
A NVIDIA detalha o DIN Deploy, coleção de amostras em C++ que combina ONNX Runtime e TensorRT RTX para levar modelos a apps nativos no Windows e Linux.
A NVIDIA detalhou o Do Inference Now (DIN) Deploy, uma coleção aberta de amostras práticas em C++ para levar modelos de IA a aplicações nativas com aceleração por hardware. Segundo a empresa, o material usa o ONNX Runtime com o provedor de execução NVIDIA TensorRT RTX e funciona em Windows e Linux.
Cada amostra começa com um exportador em Python que baixa um checkpoint do Hugging Face e o converte para um artefato ONNX. Do outro lado, a aplicação é uma linha de comando em C++ baseada em ONNX Runtime. A separação deixa a conversão do modelo fora da lógica de implantação e dispensa um runtime específico para cada modelo.
A NVIDIA inclui exemplos para reconhecimento de fala offline e em fluxo contínuo, com OpenAI Whisper, NVIDIA Parakeet TDT e NVIDIA Nemotron ASR Streaming. Há também amostras com Meta SAM 2.1 para segmentação interativa de imagens e vídeo, além de FLUX.2-klein-4B para geração de imagem a partir de texto. No caso do FLUX.2, o repositório mostra interoperação gráfica com Vulkan e DirectX e quantização pós-treinamento com o NVIDIA Model Optimizer, sem alterar o código da aplicação.
O repositório traz presets de CMake para Windows, Linux, x86-64 e Arm64. Segundo a NVIDIA, o CMake baixa o ONNX Runtime e o TensorRT RTX por padrão.
O que muda para você
Serve para desenvolvedores que querem sair de modelos soltos e montar uma aplicação local em C++. O que já dá para fazer é usar os exemplos, exportar um modelo para ONNX e rodar a linha de comando com TensorRT RTX ou reaproveitar o pipeline no próprio código. Para quem não trabalha com integração de modelos, o efeito imediato é pequeno.
Minha leitura
A parte útil aqui é a separação entre converter o modelo e colocá-lo no aplicativo. Isso reduz a bagunça do projeto e deixa mais claro onde a aceleração entra. Também deixa um recado: a NVIDIA quer que o caminho para IA local passe por ONNX e C++, não por uma solução fechada. O limite continua sendo o mesmo de sempre: o exemplo ajuda, mas ainda exige integração e teste no ambiente real. Quem precisa decidir algo agora deve olhar menos para a demonstração e mais para o custo de manutenção desse pipeline.
Thiago FelizolaConsultor de IA, curador do Diário da IA
