Estudo encontra diferenças nas respostas de cinco IAs conforme o idioma
Pesquisadores da Universidade de Ciência e Tecnologia da China compararam cinco chatbots em testes de personalidade em inglês e mandarim. As respostas também divergiram das obtidas por participantes humanos, sobretudo em aspectos culturais.
Pesquisadores da Universidade de Ciência e Tecnologia da China avaliaram cinco chatbots com perguntas de um teste de personalidade em inglês e mandarim. O estudo foi publicado no mês passado na revista Royal Society Open Science. Foram analisados ChatGPT-4o, Gemini 2.0 Flash, DeepSeek-V3, Ernie 3.5 e Le Chat, que também respondeu em francês, seu idioma nativo.
Os chatbots responderam cerca de 60 perguntas do Big Five Inventory-2, que avalia extroversão, amabilidade, responsabilidade, negatividade e abertura a novas ideias. Os pesquisadores pediram que respondessem como “eles mesmos”, sem imitar uma personalidade. Cada sistema completou o questionário 30 vezes nos dois idiomas, entre janeiro e março de 2025.
As respostas variaram conforme a língua. Na abertura mental, o ChatGPT-4o marcou 4,74 em inglês e 4,03 em mandarim; o DeepSeek-V3 teve o padrão inverso: 4,38 em inglês e 4,81 em mandarim, numa escala de 0 a 5. Na comparação com testes feitos por humanos dos mesmos países, as respostas dos chatbots divergiram bastante, especialmente em aspectos culturais. Os pesquisadores alertam para as limitações de usar IAs como substitutas de participantes humanos em estudos científicos. Os resultados não indicam que os sistemas tenham personalidade ou sentimentos.
O que muda para você
A pesquisa interessa a quem usa chatbots em estudos ou compara respostas entre idiomas. Ela mostra que a língua pode alterar os resultados de um teste, mas não oferece uma forma de determinar a personalidade real de uma IA. Para quem usa esses sistemas no dia a dia, não há ferramenta ou recurso novo anunciado; a ressalva é relevante para pesquisas que tentem substituir participantes humanos por chatbots.
Minha leitura
Uma resposta de chatbot pode parecer um dado sobre cultura ou personalidade, mas o idioma muda o resultado. Isso exige cautela em pesquisas que dependem de respostas humanas: comparar sistemas em línguas diferentes pode misturar efeitos do idioma com aquilo que se quer medir. Eu trataria a IA como uma fonte de respostas a investigar, não como substituta automática de participantes humanos.
Thiago FelizolaConsultor de IA, curador do Diário da IA
:quality(85)/8bace855-b451-4750-b713-76e86bca13f5.jpg)
