Os rankings que medem a qualidade dos sistemas de reconhecimento de fala — aqueles que transformam áudio em texto — ganharam um reforço importante. Pela primeira vez, uma língua fora do eixo europeu entrou na lista: o hindi, falado por mais de meio bilhão de pessoas. Junto com ele, veio uma versão do inglês indiano, mas o que realmente muda é como esses testes foram feitos.
Até agora, a principal medida era a taxa média de erro — quantas palavras o sistema troca ou não entende. O problema é que essa média esconde falhas graves. Estudos já mostraram que sistemas comerciais erram o dobro para falantes negros nos Estados Unidos, e a diferença também aparece por idade, gênero e sotaque. Os novos conjuntos de teste, chamados Monsoon, foram criados para capturar essas variações. Cada gravação vem com informações sobre o falante: estado de origem, idade, ocupação, aparelho usado, ambiente em que a conversa aconteceu. São 12 atributos por pessoa, com mais de 4,8 mil falantes diferentes.
O efeito é imediato. Dois sistemas que no ranking geral têm praticamente a mesma taxa de erro — diferença de 0,18 ponto — se comportam de forma muito distinta quando olhamos para regiões da Índia. Um modelo variou 0,46 ponto entre as zonas do país; outro variou 1,68 — quase quatro vezes mais. Isto é, um sistema parece tão bom quanto outro no papel, mas na prática erra muito mais dependendo de onde o falante mora. E não há uma região mais difícil para todos: cada modelo tropeça em lugares diferentes, o que mostra que o defeito está no sistema, não no áudio.
Para quem usa assistentes de voz ou aplicativos de transcrição no dia a dia, a notícia não muda nada de imediato — os modelos comerciais continuam os mesmos. Mas para o mercado de inteligência artificial, é um passo concreto para que sistemas de reconhecimento de fala não perpetuem desigualdades. Ao incluir línguas do sul global e dados demográficos detalhados, o novo ranking força as empresas a enxergarem onde seus modelos falham. No longo prazo, isso pode significar assistentes que entendem melhor sotaques diversos e não apenas o inglês padrão americano.