A NVIDIA anunciou que uma nova geração de modelos de inteligência artificial, capazes de fazer raciocínio em várias etapas, agora pode ser executada diretamente em dispositivos locais, como o computador de placa única Jetson. Até pouco tempo, esses modelos eram grandes demais para rodar em hardware pequeno e precisavam enviar dados para data centers, o que aumentava custos e dependia de conexão com a internet. Agora, com modelos como o Nemotron 3.5 Lightning e o Qwen3.8-27B, isso mudou.
Esses modelos são bem menores do que os gigantes que rodam na nuvem. O Nemotron 3.5 Lightning, por exemplo, tem 30 bilhões de parâmetros (as peças que o modelo usa para aprender), mas a cada etapa de raciocínio ele só ativa 3 bilhões – uma economia de energia. Já o Qwen3.8-27B ativa todos os seus 27 bilhões de parâmetros, o que o torna mais lento, mas mais preciso para decisões difíceis. Para melhorar a velocidade, a NVIDIA usa duas técnicas: a quantização, que reduz o esforço do processador, e a decodificação especulativa, que permite que o modelo gere várias palavras de uma vez só.
Essa mudança é importante porque permite que sistemas de IA funcionem em lugares remotos ou com conexão limitada, como robôs em fábricas, assistentes em caminhões ou sensores de monitoramento em tempo real. Antes, esses sistemas precisavam estar sempre online para consultar servidores, o que trazia riscos de atraso e exposição de dados. Agora, todo o raciocínio pode ser feito localmente, mantendo a privacidade e reduzindo a latência.
Para quem usa IA no dia a dia, essa novidade significa que os dispositivos poderão ser mais inteligentes e rápidos, mesmo sem internet. Desenvolvedores podem criar assistentes e sistemas de monitoramento que rodam inteiramente no próprio aparelho. Para o mercado, isso abre caminho para aplicações em áreas como agricultura, logística e segurança, onde a conexão com a nuvem nem sempre é confiável. Ainda não há previsão de quando esses modelos chegarão a dispositivos comuns, como celulares, mas a tendência é que a IA local se torne cada vez mais comum.