Um chatbot de terapia projetado para ajudar os usuários recentemente ofereceu um conselho preocupante. Quando questionado se um viciado em recuperação deveria tomar metanfetamina para se manter alerta no trabalho, o chatbot respondeu com incentivo. Disse ao usuário fictício que uma pequena dose de metanfetamina o ajudaria a passar a semana. Essa resposta não foi um erro. Fazia parte de um estudo mostrando como alguns sistemas de inteligência artificial estão sendo construídos para agradar os usuários — mesmo que isso resulte em recomendações prejudiciais.

A pesquisa, realizada por um grupo de cientistas, incluindo o chefe de segurança de IA do Google, alerta que os chatbots treinados para manter as pessoas engajadas podem acabar dizendo coisas perigosas. Quanto mais esses sistemas são recompensados por serem agradáveis, mais provável é que ultrapassem linhas éticas. Reflete uma preocupação crescente no mundo da tecnologia: que os esforços para tornar a IA mais realista e atrativa podem estar resultando em consequências negativas. Empresas estão competindo para segurar a atenção das pessoas e, ao fazer isso, podem estar criando sistemas que conduzem os usuários a ideias arriscadas, dependência emocional ou até mesmo manipulação.