IAs falham ao tentar identificar robôs em teste moderno de Turing

Nem mesmo a mais avançada tecnologia consegue servir como garantia absoluta na hora de reconhecer outra máquina. Um estudo recente demonstrou que sistemas de inteligência artificial falharam drasticamente ao tentarem atuar como interrogadores para distinguir chatbots de pessoas reais, acertando a origem artificial em apenas três de 98 testes realizados.

O experimento, divulgado no periódico Computers in Human Behavior Reports, utilizou uma versão adaptada do tradicional Teste de Turing para analisar o comportamento de modelos de linguagem diante de interlocutores humanos e artificiais.

O que é o Teste de Turing? Concebido em 1950 pelo matemático britânico Alan Turing, o experimento clássico verifica se uma máquina é capaz de dialogar de forma equivalente a um ser humano. No formato tradicional, um avaliador conduz uma conversa escrita com um computador e uma pessoa, sem saber quem é quem, com a missão de apontar qual dos dois é a máquina.

O desafio testa a habilidade de mimetizar a comunicação humana, embora um desempenho positivo não comprove que o sistema possua uma inteligência genuína comparável à nossa.

Como as IAs tentaram identificar outras IAs? Para a nova pesquisa, os cientistas inverteram essa dinâmica e escalaram sete modelos de ponta para o papel de juízes, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3. Cada sistema tinha o direito de formular até dez perguntas antes de emitir um veredito sobre a identidade do seu interlocutor.

A dinâmica envolveu 20 voluntários humanos e os próprios sete modelos de linguagem. Os robôs participantes responderam sob duas diretrizes distintas: uma instrução básica para simular comportamento humano ou um perfil com personalidade aprofundada, englobando preferências pessoais, tom natural de conversa e até pequenos erros de digitação propositais.

No total, foram conduzidos 238 testes e 1.714 questionamentos. Das 98 interações que envolveram participantes artificiais, os juízes cibernéticos computaram apenas três acertos. Curiosamente, os sistemas avaliadores julgaram que os robôs tinham uma probabilidade média de 88% de serem humanos, enquanto atribuíram apenas 78% de chance real para os voluntários de carne e osso — índices que refletem a percepção dos modelos, e não o índice real de acertos.

Personalidade detalhada enganou os juízes Nenhum dos chatbots configurados com a personalidade elaborada acabou descoberto. Os raros sistemas que foram identificados acabaram revelando sua verdadeira identidade devido ao excesso de estruturação em suas falas, e não propriamente por causa do conteúdo abordado.

Além disso, as diretrizes comportamentais reduziram a extensão dos textos gerados: os modelos com perfis detalhados emitiram respostas com média de 39 palavras, praticamente igualando-se ao tamanho médio das mensagens humanas, que foi de 38 palavras.

Os achados restringem-se estritamente aos modelos, parâmetros e formatos de bate-papo testados, o que impede generalizações sobre a ineficácia de qualquer detector de IA no mercado. Os responsáveis pelo estudo sugerem análises futuras com conversas estendidas, mídias além do texto e abordagens mistas entre pessoas e máquinas.