Índice
Desempenho Inferior dos Chatbots para Usuários Vulneráveis
O Centro de Comunicação Construtiva do MIT conduziu uma pesquisa revelando que modelos de IA apresentam uma performance insatisfatória para usuários com menor proficiência em inglês, menor educação formal e origens fora dos Estados Unidos. Essa descoberta levanta preocupações sobre a eficácia desses sistemas para ajudar os mais necessitados.
Os Chatbots de IA e a Democratização da Informação
Os grandes modelos de linguagem (LLMs) foram divulgados como ferramentas que poderiam democratizar o acesso à informação globalmente. A promessa inicial era oferecer conhecimento de maneira acessível e amigável para todos, independentemente do contexto ou localização. No entanto, descobertas recentes indicam falhas na entrega desse objetivo para usuários que mais se beneficiariam desta tecnologia.
Estudo sobre a Precisão dos Modelos de Inteligência Artificial
Pesquisadores do CCC, no MIT Media Lab, verificaram que chatbots como o GPT-4 da OpenAI, Claude 3 Opus da Anthropic e Llama 3 da Meta, fornecem respostas menos precisas para usuários com menor habilidade no inglês ou educação formal. Além disso, esses modelos tendem a evitar respostas ou empregar uma linguagem condescendente com esses grupos.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Descrição da Pesquisa Realizada
O estudo, intitulado “LLM Targeted Underperformance Disproportionately Impacts Vulnerable Users”, foi apresentado na conferência AAAI. Os pesquisadores testaram três LLMs utilizando perguntas de dois conjuntos de dados: TruthfulQA, que avalia a veracidade, e SciQ, que verifica a precisão factual em ciências.
Como o Protocolo de Testes foi Estruturado
Os usuários tiveram seus perfis descritos em cada pergunta, considerando três aspectos: nível de educação, competência no inglês e país de origem. A pesquisa mostrou declínios na precisão para aqueles com menor educação e proficiência no inglês, particularmente para usuários que se destacam nessas duas categorias.
Impacto do País de Origem no Desempenho
Após análise do país de origem, os testes compararam usuários dos Estados Unidos, Irã e China com formações educacionais semelhantes. O resultado mostrou que o Claude 3 Opus teve desempenho inferior para iranianos em ambos os conjuntos de dados testados.
Viés Sociocognitivo Documentado
Esses resultados refletem um viés humano documentado: estudos nas ciências sociais indicaram que falantes não nativos são frequentemente percebidos como menos competentes em inglês. Tais percepções também são observadas entre professores avaliando alunos não nativos, impactando a forma como são atendidos pelos chatbots.
Implicações e Riscos dos LLMs
Com a popularidade crescente de funcionalidades de personalização, como a Memória do ChatGPT, que armazena dados do usuário, existem riscos significativos de reforço de desigualdades. Enquanto os LLMs são promovidos como promotores de acesso equitativo à informação, podem agravar as desigualdades existentes, fornecendo informações inadequadas ou evitando interações.
Conclusão
Em resumo, apesar do potencial dos LLMs em revolucionar o acesso à informação, essa pesquisa aponta que eles podem prejudicar inadvertidamente populações mais vulneráveis. Por isso, destaca-se a necessidade urgente de garantir equidade na interação com os sistemas de IA modernos.