ChatGPT testado com palavras não existentes, mostra intuição surpreendente de linguagem

  • Categoria do post:Notícias

Um cientista da linguagem na Universidade de Kansas recorreu ao absurdo como uma ferramenta para investigar como a inteligência artificial lida com palavras. Em vez de avaliar o ChatGPT por meio de benchmarks tradicionais, a pesquisa se baseou em entradas deliberadamente sem sentido, os chamados “não palavras”, para ver onde o chatbot se alinha com o pensamento humano e onde diverge.

Este trabalho, publicado na revista PLOS One, faz parte de uma área em crescimento onde técnicas cognitivas focadas em seres humanos são aplicadas a máquinas. O estudo envolveu quatro experimentos, cada um visando diferentes aspectos do processamento de linguagem. Em um deles, o ChatGPT recebeu palavras antigas, em desuso, em inglês, termos que desapareceram do uso público. Curiosamente, o sistema conseguiu definir a maioria deles corretamente, performando melhor do que uma pessoa típica provavelmente faria. Para algumas palavras, ele teve dificuldades. Em alguns casos, deu respostas completamente erradas, inventando definições onde não foram encontradas, um fenômeno frequentemente rotulado como “alucinação” em IA.

Em outro experimento, os pesquisadores mudaram do inglês para o espanhol. O ChatGPT foi mostrado palavras em espanhol e solicitado a encontrar palavras em inglês que soassem semelhantes. Suas respostas mostraram que muitas vezes ele permaneceu dentro da língua espanhola, mesmo quando o comando solicitava equivalentes em inglês. Apenas quando as instruções foram feitas muito específicas é que ele ajustou seu comportamento. Esse padrão destacou uma limitação na maneira como o sistema lida com o contexto da linguagem, algo que os humanos geralmente gerenciam com facilidade.

A terceira parte da pesquisa destacou como a IA julga a “semelhança com palavras” de termos inventados. O ChatGPT foi apresentado a não palavras que variavam em quão próximas pareciam de palavras reais em inglês. Em seguida, classificou-as com base em quão plausíveis soavam em inglês e, separadamente, em quão provavelmente alguém compraria um produto com esse nome. As pontuações acompanharam de perto o que os participantes humanos deram em estudos anteriores, sugerindo que o chatbot havia internalizado padrões na estrutura do inglês, mesmo que não tenha sido explicitamente treinado para raciocínio fonológico.

O último segmento do estudo levou o chatbot a território criativo. Foi pedido a ele que gerasse novas palavras para ideias que não tenham um rótulo claro em inglês. Muitos dos resultados foram combinações de palavras existentes ou partes delas, produzindo neologismos que pareciam intuitivos. Alguns desses, como um termo para frustração ao acordar ou para desejar lanches doces e salgados alternados, pareciam adições naturais ao idioma, enquanto outros mostravam os limites da gama criativa da ferramenta.

Em resumo, os experimentos não tinham o objetivo de mostrar se a IA processa a linguagem como os humanos, mas sim de mapear as diferenças na forma como cada um lida com tarefas linguísticas. Algumas descobertas apontam para áreas em que a IA poderia ajudar a preencher lacunas humanas, como memória para vocabulário obscuro, enquanto outras deixam claro que a IA muitas vezes carece dos instintos contextuais que as pessoas usam sem esforço na conversa.

A pesquisa destaca um ponto mais amplo: em vez de construir a IA para imitar exatamente o comportamento da linguagem humana, pode ser mais produtivo projetar esses sistemas para apoiar as necessidades humanas de maneiras complementares.