•bfl.ai•
0 visualizações
Modelo FLUX 3 da Black Forest Labs agora controla robôs em
O modelo multimodal FLUX 3, da Black Forest Labs, foi adaptado para controlar robôs em linhas de produção da Audi. A tecnologia, chamada FLUX-mimic, mostra que a mesma base que gera vídeos pode entender e agir no mundo físico.
A Black Forest Labs anunciou que uma versão inicial do FLUX 3, seu novo modelo multimodal, está sendo executada em robôs. Em parceria com a startup mimic robotics, a empresa desenvolveu o FLUX-mimic, um modelo de vídeo-ação que já foi testado e implantado em fábricas da Audi. O sistema é capaz de realizar tarefas como montagem de componentes e manuseio de materiais flexíveis, como cabos e vedações, que a automação tradicional não conseguia executar.
O FLUX 3 é treinado conjuntamente para processar imagens, vídeos e áudio. Segundo a empresa, a parte mais custosa do treinamento — mais de 95% do custo computacional total — é a previsão de vídeo. Para gerar vídeos realistas, o modelo precisa aprender conceitos como contato, movimento, peso e causa e efeito. A tese central é que, ao aprender a renderizar o mundo com precisão, o modelo desenvolve uma representação interna de como o mundo se comporta. A partir dessa representação, a previsão de ações para robôs se torna uma extensão natural, e não uma nova capacidade.
Nos testes, o modelo manteve a qualidade de geração de vídeo mesmo após incorporar a previsão de ações. Inicialmente, a qualidade caiu até 10%, mas se recuperou totalmente após 3.500 etapas de treinamento. A empresa afirma que a abordagem permite que o modelo opere com latência inferior a 80ms em uma GPU RTX 5090, e o sistema completo, incluindo sensores e atuadores, tem tempo de reação de 101ms. Isso coloca a tecnologia na mesma ordem de grandeza do tempo de reação visual humano.
A parceria com a Audi é significativa porque a montadora já possui uma das redes de produção mais automatizadas da indústria automotiva. Ainda assim, tarefas com peças flexíveis e manipulação fina permaneciam manuais por razões econômicas. O FLUX-mimic consegue executar essas tarefas com eficiência de amostragem até 10 vezes maior que modelos anteriores, segundo a mimic. A Black Forest Labs vê a aplicação em robótica como uma extensão natural de seu roadmap, e não como uma mudança de direção, unindo criação de conteúdo e inteligência física sob um mesmo modelo fundamental.