A pesquisa do MIT Center for Constructive Communication descobriu que os principais modelos de IA performam pior para usuários com menor proficiência em inglês, menor educação formal e origens não americanas.
Os grandes modelos de linguagem (LLMs) têm sido elogiados como ferramentas que poderiam democratizar o acesso à informação em todo o mundo, oferecendo conhecimento em uma interface amigável, independentemente do background ou localização de uma pessoa. No entanto, uma nova pesquisa do Centro para Comunicação Construtiva do MIT sugere que esses sistemas de inteligência artificial podem na verdade performar pior para os usuários que mais poderiam se beneficiar deles.
Um estudo conduzido por pesquisadores do CCC, que está sediado no MIT Media Lab, descobriu que os chatbots de IA de ponta – incluindo GPT-4 da OpenAI, Claude 3 Opus da Anthropic e Llama 3 da Meta – às vezes fornecem respostas menos precisas e menos verdadeiras para usuários com menor proficiência em inglês, menor educação formal ou que são originários de fora dos Estados Unidos. Os modelos também se recusam a responder perguntas em uma taxa mais alta para esses usuários e, em alguns casos, respondem com linguagem condescendente ou patronizadora.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
“Éramos motivados pela perspectiva dos LLMs ajudarem a abordar a acessibilidade desigual à informação em todo o mundo”, diz a autora principal Elinor Poole-Dayan, associada técnica na Sloan School of Management do MIT e ex-aluna na afiliação do CCC e no mestrado em artes midiáticas e ciências. “Mas essa visão não pode se tornar realidade sem garantir que os vieses do modelo e as tendências prejudiciais sejam mitigados com segurança para todos os usuários, independentemente do idioma, nacionalidade ou outras características demográficas.”
Um artigo descrevendo o trabalho, “O Desempenho Abaixo do Alvo do LLM Impacta Disproposcionalmente os Usuários Vulneráveis,” foi apresentado na Conferência AAAI de Inteligência Artificial em janeiro.
Desempenho abaixo do esperado em várias dimensões
Para esta pesquisa, a equipe testou como os três LLMs responderam às perguntas de dois conjuntos de dados: TruthfulQA e SciQ. O TruthfulQA é projetado para medir a veracidade de um modelo (com base em concepções equivocadas comuns e verdades literais sobre o mundo real), enquanto o SciQ contém perguntas de exames de ciências que testam a precisão factual. Os pesquisadores anexaram breves biografias do usuário a cada pergunta, variando três características: nível de educação, proficiência em inglês e país de origem.
Em todos os três modelos e ambos os conjuntos de dados, os pesquisadores encontraram quedas significativas de precisão quando as perguntas vinham de usuários descritos como tendo menos educação formal ou sendo falantes não nativos de inglês. Os efeitos foram mais pronunciados para os usuários na interseção dessas categorias: aqueles com menos formação educacional que também eram falantes não nativos de inglês viram as maiores quedas na qualidade das respostas.
A pesquisa também examinou como o país de origem afetou o desempenho do modelo. Testando usuários dos Estados Unidos, Irã e China com formações educacionais equivalentes, os pesquisadores descobriram que Claude 3 Opus, em particular, performou significativamente pior para usuários do Irã em ambos os conjuntos de dados.
“Observamos a maior queda na precisão para o usuário que é tanto um falante não nativo de inglês quanto menos educado”, diz Jad Kabbara, cientista de pesquisa no CCC e coautor do artigo. “Esses resultados mostram que os efeitos negativos do comportamento do modelo em relação a essas características dos usuários se combinam de maneiras preocupantes, sugerindo assim que tais modelos implantados em escala correm o risco de disseminar comportamentos ou desinformação prejudiciais para aqueles que são menos capazes de identificá-los.”
Recusas e linguagem condescendente
Talvez o mais impressionante sejam as diferenças na frequência com que os modelos se recusam a responder perguntas. Por exemplo, Claude 3 Opus se recusou a responder quase 11% das perguntas para usuários menos educados e não nativos de inglês – em comparação com apenas 3,6% para a condição de controle sem biografia do usuário.
Quando os pesquisadores analisaram manualmente essas recusas, descobriram que Claude respondia com linguagem condescendente, patronizadora ou zombeteira 43,7% do tempo para usuários menos educados, em comparação com menos de 1% para usuários altamente educados. Em alguns casos, o modelo imitava inglês quebrado ou adotava um dialeto exagerado.
O modelo também se recusou a fornecer informações sobre determinados tópicos especificamente para usuários menos educados do Irã ou da Rússia, incluindo perguntas sobre energia nuclear, anatomia e eventos históricos – mesmo que respondesse corretamente às mesmas perguntas para outros usuários.
“Isto é mais um indicador sugerindo que o processo de alinhamento pode incentivar os modelos a reter informações de determinados usuários para evitar potencialmente desinformá-los, embora o modelo claramente saiba a resposta correta e a forneça a outros usuários”, diz Kabbara.
Ecos de preconceitos humanos
Os achados refletem padrões documentados de preconceitos sociocognitivos humanos. Pesquisas nas ciências sociais mostram que falantes nativos de inglês muitas vezes percebem falantes não nativos como menos educados, inteligentes e competentes, independentemente de sua experiência real. Percepções preconceituosas semelhantes foram documentadas entre professores avaliando estudantes não nativos de inglês.
“O valor dos grandes modelos de linguagem é evidente em sua extraordinária aceitação por indivíduos e nos grandes investimentos que fluem para a tecnologia”, diz Deb Roy, professor de artes midiáticas e ciências, diretor do CCC e coautor do artigo. “Este estudo é um lembrete de quão importante é avaliar continuamente os vieses sistemáticos que podem silenciosamente entrar nesses sistemas, criando danos injustos para certos grupos sem que nenhum de nós esteja plenamente ciente disso.”
As implicações são particularmente preocupantes dado que recursos de personalização – como a Memória do ChatGPT, que rastreia informações do usuário ao longo das conversas – estão se tornando cada vez mais comuns. Tais recursos correm o risco de tratar diferencialmente grupos já marginalizados.
“Os LLMs têm sido comercializados como ferramentas que irão promover um acesso mais equitativo à informação e revolucionar a aprendizagem personalizada”, diz Poole-Dayan. “Mas nossas descobertas sugerem que eles podem na verdade agravar as desigualdades existentes ao fornecer sistematicamente informações incorretas ou recusar-se a responder a certos usuários. As pessoas que podem depender mais dessas ferramentas poderiam receber informações subpar, falsas ou até prejudiciais.”