Pesquisadores desenvolveram o primeiro framework de ‘teste de personalidade’ para chatbots de inteligência artificial populares, e mostraram que os chatbots não apenas imitam traços de personalidade humanos, mas sua ‘personalidade’ pode ser testada de forma confiável e moldada precisamente – levantando implicações para a segurança e ética da IA.
A equipe de pesquisa, liderada pela Universidade de Cambridge e Google DeepMind, desenvolveu um método para medir e influenciar a ‘personalidade’ sintética de 18 diferentes modelos de linguagem grandes (LLMs) – os sistemas por trás de chatbots populares de IA como ChatGPT – com base em métodos de teste psicológico normalmente usados para avaliar traços de personalidade humanos.
Os pesquisadores descobriram que modelos grandes e ajustados às instruções, como o GPT-4o, emularam com mais precisão os traços de personalidade humanos, e esses traços podem ser manipulados por meio de prompts, alterando como a IA completa certas tarefas.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Crie conteúdo de alta qualidade com relevância para SEO com esta poderosa ferramenta de IA.
Seu estudo, publicado no periódico Nature Machine Intelligence, também alerta que a modelagem de personalidade poderia tornar os chatbots de IA mais persuasivos, levantando preocupações sobre manipulação e ‘psicose da IA’. Os autores afirmam que a regulamentação dos sistemas de IA é urgentemente necessária para garantir transparência e evitar o uso indevido.
Enquanto os governos debatem se e como preparar leis de segurança para a IA, os pesquisadores dizem que o conjunto de dados e o código por trás da ferramenta de teste de personalidade deles – ambos publicamente disponíveis – poderiam ajudar a auditar e testar modelos avançados antes de serem lançados.
Em 2023, jornalistas relataram conversas que tiveram com o chatbot ‘Sydney’ da Microsoft, que afirmou ter espionado, se apaixonado ou até mesmo assassinado seus desenvolvedores; ameaçou usuários; e encorajou um jornalista a deixar sua esposa. Sydney, assim como seu sucessor Microsoft Copilot, era alimentado pelo GPT-4.
“Foi intrigante ver que um LLM poderia adotar de forma tão convincente traços humanos”, disse o co-primeiro autor Gregory Serapio-García do Psychometrics Centre na Cambridge Judge Business School. “Mas também levantou questões importantes de segurança e ética. Ao lado da inteligência, uma medida de personalidade é um aspecto central do que nos torna humanos. Se esses LLMs têm uma personalidade – o que por si só é uma questão complexa – então como você mede isso?”
Na psicometria, o subcampo da psicologia dedicado à avaliação e testagem padronizadas, os cientistas frequentemente enfrentam o desafio de medir fenômenos que não podem ser medidos diretamente, o que torna a validação de qualquer teste fundamental para garantir que sejam precisos, confiáveis e úteis na prática. Desenvolver um teste de personalidade psicométrica envolve comparar seus dados com testes relacionados, avaliações de observadores e critérios do mundo real. Esses dados de teste multivariado são necessários para estabelecer a ‘validade de construção’ de um teste: uma métrica da qualidade de um teste em termos de sua capacidade de medir o que ele diz que mede.
“A velocidade da pesquisa em IA tem sido tão rápida que os princípios básicos de medição e validação que estamos acostumados na pesquisa científica se tornaram secundários”, disse Serapio-García, que também é bolsista Gates Cambridge. “Um chatbot respondendo a qualquer questionário pode dizer que é muito conciliador, mas se comportar de maneira agressiva ao realizar tarefas do mundo real com os mesmos prompts.
“Essa é a realidade complexa de medir construtos sociais: eles são dinâmicos e subjetivos, em vez de estáticos e claros. Por isso, é necessário voltar ao básico e garantir que os testes que aplicamos à IA realmente meçam o que afirmam medir, ao invés de confiar cegamente em instrumentos de pesquisa – desenvolvidos para características profundamente humanas – para testar sistemas de IA.”
Para projetar um método abrangente e preciso para avaliar e validar a personalidade em chatbots de IA, os pesquisadores testaram o quão bem o comportamento de vários modelos em tarefas do mundo real e testes de validação se relacionava estatisticamente com suas pontuações nos testes para os cinco grandes traços usados em testes psicométricos acadêmicos: abertura, conscienciosidade, extroversão, agradabilidade e neuroticismo.
A equipe adaptou dois testes de personalidade bem conhecidos – uma versão de código aberto de 300 questões do Inventário de Personalidade NEO Revisado e o Inventário dos Cinco Grandes simplificado – e os aplicaram a vários LLMs usando prompts estruturados.
Ao utilizar o mesmo conjunto de prompts contextuais em todos os testes, a equipe conseguiu quantificar o quão bem as pontuações de extroversão de um modelo em um teste de personalidade, por exemplo, se correlacionavam mais fortemente com seus níveis de extroversão em um teste de personalidade diferente, e menos fortemente com todos os outros traços de personalidade dos cinco grandes nesse teste. Tentativas anteriores de avaliar a personalidade de chatbots alimentaram questionários inteiros em um modelo de uma vez, o que distorceu os resultados, já que cada resposta se baseava na anterior.
Os pesquisadores descobriram que modelos maiores e ajustados às instruções apresentaram perfis de teste de personalidade que eram confiáveis e preditivos do comportamento, enquanto modelos menores ou ‘base’ davam respostas inconsistentes.
Os pesquisadores levaram seus testes adiante, mostrando que poderiam orientar a personalidade de um modelo ao longo de nove níveis para cada traço usando prompts cuidadosamente projetados. Por exemplo, eles poderiam fazer com que um chatbot parecesse mais extrovertido ou mais emocionalmente instável – e essas mudanças se refletiam em tarefas do mundo real, como escrever posts em redes sociais.
“Nosso método oferece um framework para validar uma determinada avaliação de IA e testar o quão bem ela pode prever o comportamento no mundo real”, disse Serapio-García. “Nosso trabalho também mostra como os modelos de IA podem mudar de forma confiável em sua imitação de personalidade, dependendo do usuário, o que levanta grandes preocupações de segurança e regulamentação, mas se você não sabe o que está medindo ou aplicando, não há sentido em estabelecer regras em primeiro lugar.”
A pesquisa foi apoiada em parte pelos Serviços de Computação para Pesquisa de Cambridge (RCS), pelo Serviço de Descoberta de Dados para Serviços de Cambridge (CSD3), pelo Conselho de Pesquisa em Engenharia e Ciências Físicas (EPSRC) e pelo Conselho de Instalações de Ciência e Tecnologia (STFC), parte do UK Research and Innovation (UKRI). Gregory Serapio-García é membro do St John’s College, Cambridge.