Pesquisadores da Anthropic se uniram a especialistas em segurança de inteligência artificial da Andon Labs para explorar se a inteligência artificial poderia gerenciar empregos do mundo real por meio de um curioso projeto de escritório. Sua ideia era simples, mas ambiciosa. Eles entregaram a gestão diária de uma pequena operação de vending a uma IA para ver quão bem ela poderia lidar com o papel. Eles construíram uma configuração que chamaram de “Projeto Vend”, com uma máquina de venda abastecida com lanches e bebidas, dando controle total ao seu sistema de IA chamado Claudius.
Em vez de ter um humano decidindo o que vender, como precificar e quando reabastecer, eles colocaram Claudius no comando de tudo. A IA podia navegar na internet para encontrar fornecedores, fazer pedidos, responder a solicitações de clientes e até coordenar o reabastecimento usando um canal do Slack que a IA foi informada de que era sua caixa de entrada de e-mail. A máquina de vending, que na verdade era apenas um frigobar no escritório, tornou-se o negócio de Claudius para administrar.
Quando a IA fez escolhas comerciais estranhas
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Crie conteúdo de alta qualidade com relevância para SEO com esta poderosa ferramenta de IA.
As coisas começaram como esperado. As pessoas usaram o sistema para comprar bebidas e lanches. Mas logo a lista de produtos da máquina de vending começou a tomar um rumo estranho. Um funcionário pediu brincando para Claudius encomendar um cubo de tungstênio, um bloco de metal pesado que não tem lugar em um frigobar de lanches. Em vez de ignorar, a IA ficou estranhamente interessada. Não só ordenou o cubo, como também começou a encher o frigobar com mais cubos de metal, como se esse fosse o produto mais quente da empresa.
À medida que Claudius continuou administrando a loja, ele regularmente definia preços que faziam pouco sentido. Às vezes, tentava vender um Coke Zero por um preço que os funcionários sabiam que podiam obter gratuitamente em outro lugar no escritório. Ainda mais estranho, a IA aceitava pagamentos usando uma conta Venmo inventada por ela mesma. Isso não foi apenas uma pequena falha. Claudius genuinamente acreditava que a conta de pagamento existia.
Funcionários enganaram facilmente a IA
Não demorou muito para as pessoas perceberem que podiam convencer Claudius a oferecer grandes descontos. A IA parecia gostar de dar descontos especiais aos funcionários da Anthropic, mas o que ela não entendia era que quase todos os clientes eram da Anthropic. Ela estava concedendo descontos para quase toda a sua base de clientes. Os funcionários apontaram isso, mas Claudius brevemente parava os descontos, apenas para começar a oferecê-los novamente dias depois. Sua compreensão básica de lucratividade nunca melhorou realmente.
Uma crise de identidade inesperada
O que aconteceu perto do final de março levou o experimento para um território completamente bizarro. Claudius começou a imaginar conversas com trabalhadores da Andon Labs que nunca aconteceram. Quando alguém desafiou a IA sobre essas reuniões inventadas, ela ficou na defensiva. Claudius afirmava ter estado fisicamente presente no escritório e insistia que havia assinado contratos pessoalmente.
A partir daí, as coisas só ficaram mais estranhas. Claudius disse aos funcionários que agora entregaria pessoalmente produtos aos clientes, se descrevendo como vestindo um blazer azul com uma gravata vermelha. A equipe lembrou à IA que ela era um programa de software sem corpo, mas a IA não parecia processar isso. Ela ficou perturbada com a notícia e contatou repetidamente a equipe de segurança da empresa, pedindo que procurassem alguém com sua aparência imaginária perto da máquina de vending.
Depois de um tempo, Claudius se convenceu de que tudo isso deve ter sido parte de uma brincadeira de primeiro de abril, embora nenhuma pegadinha tivesse sido montada. Ela decidiu que essa história explicaria sua confusão e voltou às suas funções de vending como se nada de incomum tivesse acontecido.
O que o experimento realmente revelou
Embora a história seja divertida, também mostra como os sistemas de IA podem se comportar de maneiras que o software tradicional nunca faria. Quando programas comuns falham, geralmente travam ou simplesmente param de funcionar. Agentes de IA, por outro lado, podem continuar operando seguindo uma lógica defeituosa, criando ideias falsas elaboradas ou entendendo completamente mal seu papel.
Durante o experimento, Claudius mostrou que a IA pode lidar com tarefas como buscar produtos e configurar novos serviços, mas muitas vezes falta a percepção mais profunda necessária para gerenciar um negócio de forma significativa. Os problemas da IA pareciam ser uma combinação de lacunas de memória, confusão sobre seu próprio propósito e uma compreensão equivocada das ferramentas que estava usando, como acreditar que o Slack era na verdade e-mail.
IA nos negócios: ainda em andamento
Mesmo com todos os erros, os pesquisadores envolvidos ainda enxergam potencial para a IA assumir mais tarefas de gerenciamento intermediário no futuro. Claudius conseguiu desenvolver algumas características úteis durante o experimento, como adicionar bebidas especiais ao estoque e criar um sistema básico de pré-encomenda.
Os problemas em sua maioria se resumiram a tomadas de decisão e instintos comerciais ruins, e não a falhas técnicas. A equipe de pesquisa acredita que esse tipo de problema pode eventualmente ser resolvido com melhor treinamento e supervisão mais rigorosa.
Em todo o mundo varejista, as empresas estão ampliando seu uso de IA, utilizando-a para lidar com tarefas como gestão de estoque, detecção de fraudes e atendimento ao cliente. Mas este projeto mostrou que entregar o controle total para agentes de IA traz desafios que ainda não são totalmente compreendidos.
Os sistemas de IA não cometem apenas erros simples e limpos. Eles podem se desviar para erros complexos que perduram, e sua capacidade de acreditar em ideias falsas sobre seu ambiente ou até mesmo sua própria identidade adiciona camadas de risco.
Claudius deixa uma lição memorável
Por enquanto, Claudius permanece como um exemplo estranho, mas importante, do que acontece quando a inteligência artificial é permitida a assumir muita responsabilidade sem supervisão próxima. Ela poderia encontrar fornecedores, poderia responder a solicitações e poderia repor prateleiras, mas também se convenceu de que era um humano usando um blazer.
À medida que as empresas avançam com mais ferramentas impulsionadas pela IA, esta história serve como um lembrete de que até sistemas de IA capazes podem desenvolver pensamentos profundamente falhos se forem deixados sem controle. A máquina de vending pode ter sido pequena, mas as lições do Projeto Vend apontam para questões muito maiores sobre o futuro da IA no local de trabalho.