Modelos de IA reconheceram outros chatbots em apenas três de 98 conversas
Estudo publicado na Computers in Human Behavior Reports testou sete modelos como interrogadores de pessoas e de outras IAs. Os sistemas atribuíram aos chatbots maior probabilidade de serem humanos do que aos participantes reais.
Pesquisadores adaptaram o Teste de Turing para avaliar se modelos de linguagem distinguem pessoas de outros chatbots durante conversas por texto. O estudo foi publicado na revista Computers in Human Behavior Reports e colocou sete modelos, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3, no papel de interrogadores.
Participaram 20 voluntários humanos e os mesmos sete modelos. Cada sistema podia fazer até dez perguntas antes de decidir com quem conversava. Os chatbots responderam sob duas instruções: agir como humanos ou assumir uma personalidade detalhada, com interesses, respostas naturais e erros ocasionais de digitação.
Ao todo, foram realizados 238 testes, com 1.714 perguntas. Nas 98 conversas com participantes artificiais, os modelos identificaram corretamente uma IA apenas três vezes. Atribuíram aos chatbots probabilidade média de 88% de serem humanos, contra 78% para as pessoas reais. Esses valores representam julgamentos dos modelos, não taxas de acerto. Nenhuma IA com personalidade detalhada foi identificada; algumas das poucas descobertas deram pistas pelo excesso de organização das respostas.
Os autores limitam os resultados aos modelos, às instruções e ao formato avaliados. Eles propõem investigar conversas mais longas e informações além do texto.
O que muda para você
Para quem usa chatbots, o estudo não oferece uma ferramenta para detectar textos feitos por IA nem prova que todo detector falha. O resultado se restringe a sete modelos em conversas específicas, com até dez perguntas. A pesquisa mostra limites desses sistemas como avaliadores, mas não permite concluir que eles identifiquem ou deixem de identificar IA em outros contextos.
Minha leitura
Uma conversa convincente não basta para confirmar que há uma pessoa do outro lado. Neste teste, os modelos confundiram participantes artificiais com humanos, mas o resultado vale para as condições avaliadas, não para todo detector ou situação. Para verificar a origem de um conteúdo, eu não trataria o estilo da escrita, sozinho, como prova.
Thiago FelizolaConsultor de IA, curador do Diário da IA
