O Google detalha o Guided Vision no Gemini Live, recurso criado com a comunidade de acessibilidade para ajudar pessoas cegas, com baixa visão ou quem precisa de apoio para entender o que a câmera mostra. A ideia é transformar o Gemini em um parceiro de conversa que descreve o ambiente e responde a perguntas sobre a cena em tempo real.
Durante a sessão, o usuário compartilha a câmera e recebe descrições faladas, além de sugestões para ajustar a imagem quando o enquadramento está alto demais, muito perto ou fora do centro. O sistema também pode fazer perguntas e dar dicas proativas para ajudar a explorar o ambiente.
O Google diz ter trabalhado com a Aira na interpretação visual para treinar o Gemini Live em contexto real. Mais de 1.000 membros da rede Trusted Tester da Aira participaram dos testes, e especialistas da empresa ajudaram a revisar as proteções de segurança.
A empresa ressalta que o Guided Vision é uma ferramenta de assistência e pode errar. Ele não substitui dispositivos médicos, bengalas ou recursos de orientação para andar com segurança. O recurso está disponível em aparelhos Android com Android 9 ou superior, nas regiões e idiomas em que o Gemini Live funciona.