Mistral lança Robostral Navigate: robô navega com câmera única

A Mistral AI apresentou o Robostral Navigate, seu primeiro modelo dedicado à navegação autônoma de robôs. Com 8 bilhões de parâmetros, o sistema é capaz de interpretar instruções em linguagem natural e conduzir um robô por ambientes complexos usando apenas uma câmera RGB comum — sem necessidade de sensores de profundidade, LiDAR ou múltiplas câmeras. Em testes no benchmark R2R-CE (Room-to-Room in Continuous Environments), que mede a capacidade de seguir instruções em cenários nunca vistos durante o treinamento, o modelo alcançou 76,6% de sucesso. O resultado supera em 9,7 pontos percentuais a melhor abordagem com câmera única e em 4,5 pontos os sistemas que utilizam sensores de profundidade ou múltiplas câmeras. O modelo foi desenvolvido inteiramente pela Mistral, sem depender de VLMs (modelos de linguagem e visão) de código aberto. A base é um modelo de visão-linguagem especializado em tarefas de apontamento, contagem e localização de objetos — habilidades que, segundo a empresa, se estendem naturalmente para a navegação. O treinamento foi feito em simulação, com um pipeline de geração de dados que produziu cerca de 400 mil trajetórias em 6 mil cenários. Um dos diferenciais técnicos é o uso de prefix-caching com estratégia de máscara de atenção baseada em árvore, que comprime um episódio inteiro em uma única sequência. Isso reduz o número de tokens de treinamento em 22 vezes, transformando treinamentos que levariam meses em execuções de dias. A navegação funciona por apontamento: o modelo infere as coordenadas da imagem onde o robô deve se mover, junto com a orientação desejada ao chegar. Quando o destino está fora do campo de visão, o sistema recorre a deslocamentos no sistema de coordenadas local do robô. Após o treinamento supervisionado, a Mistral aplicou aprendizado por reforço online com o algoritmo CISPO, o que elevou a taxa de sucesso em 3,2 pontos percentuais. A empresa afirma que o desempenho ainda não atingiu um platô e deve continuar melhorando com mais experimentos. O Robostral Navigat é compatível com robôs com rodas, pernas e drones, e se adapta a diferentes tamanhos de robô e calibrações de câmera. A Mistral vê a navegação como uma capacidade fundamental para a robótica de propósito geral e planeja expandir a equipe de robótica. Entre as aplicações potenciais estão manufatura, entregas, logística e hospitalidade, setores onde a navegação autônoma é uma das funcionalidades mais demandadas pelos clientes da empresa.