Estudo descobre que a maioria dos robôs de IA falta documentos formais de segurança e avaliação publicados.

  • Categoria do post:Notícias

História: Fred Lewsey.

Uma investigação sobre 30 principais agentes de IA descobre que apenas quatro publicaram documentos formais de segurança e avaliação relacionados aos bots reais.

Muitos de nós agora usam chatbots de IA para planejar refeições e escrever e-mails, navegadores da web aprimorados por IA para reservar viagens e comprar ingressos, e IA no ambiente de trabalho para gerar faturas e relatórios de desempenho. No entanto, um novo estudo sobre o “ecossistema de agentes de IA” sugere que, à medida que esses bots de IA se tornam rapidamente parte da vida cotidiana, a divulgação básica de segurança está “perigosamente atrasada”. Uma equipe de pesquisadores liderada pela Universidade de Cambridge descobriu que os desenvolvedores de IA compartilham muitos dados sobre o que esses agentes podem fazer, enquanto retêm evidências das práticas de segurança necessárias para avaliar quaisquer riscos apresentados pela IA.

O AI Agent Index, um projeto que inclui pesquisadores do MIT, Stanford e da Universidade Hebraica de Jerusalém, investigou as habilidades, transparência e segurança de trinta “agentes de IA de última geração”, com base em informações públicas e correspondência com os desenvolvedores. A última atualização do Índice é liderada por Leon Staufer, um pesquisador que estuda por um MPhil no Leverhulme Centre for the Future of Intelligence em Cambridge. A equipe analisou dados disponíveis de diversos chatbots, navegadores e bots de IA de fluxo de trabalho líderes, construídos principalmente nos EUA e na China.

A equipe encontrou uma “lacuna significativa de transparência”. Os desenvolvedores de apenas quatro bots de IA no Índice publicam “cartões de sistema” específicos do agente: documentos formais de segurança e avaliação que abrangem desde os níveis de autonomia e comportamento até análises de risco do mundo real. Além disso, 25 dos 30 agentes de IA no Índice não divulgam resultados internos de segurança, enquanto 23 dos 30 agentes não fornecem dados de testes de terceiros, apesar de serem as evidências empíricas necessárias para avaliar rigorosamente o risco.

Incidentes ou preocupações de segurança conhecidos foram publicados apenas para cinco agentes de IA, enquanto “vulnerabilidades de injeção rápida” – quando instruções maliciosas manipulam o agente para ignorar salvaguardas – são documentadas para dois desses agentes. Dos cinco agentes de IA chineses analisados no Índice, apenas um publicou quaisquer padrões de segurança ou conformidade de qualquer tipo. “Muitos desenvolvedores marcam a caixa de segurança de IA focando no grande modelo de linguagem por baixo, enquanto fornecem pouca ou nenhuma divulgação sobre a segurança dos agentes construídos”, disse Leon Staufer, da Universidade de Cambridge, autor líder da atualização do Índice. “Comportamentos críticos para a segurança de IA emergem do planejamento, ferramentas, memória e políticas do próprio agente, não apenas do modelo subjacente, e muito poucos desenvolvedores compartilham essas avaliações.”

Na verdade, os pesquisadores identificam 13 agentes de IA que exibem “níveis de autonomia de fronteira”, mas apenas quatro deles divulgam quaisquer avaliações de segurança do bot em si. “Os desenvolvedores publicam estruturas amplas de segurança e ética de alto nível que parecem ser tranquilizadoras, mas estão publicando evidências empíricas limitadas necessárias para realmente entender os riscos”, disse Staufer. “Os desenvolvedores são muito mais francos sobre as capacidades de seus agentes de IA. Essa assimetria de transparência sugere uma forma mais fraca de lavagem de segurança.”

A última atualização anual fornece informações verificadas em 1.350 campos para os trinta bots de IA proeminentes, conforme disponíveis até o último dia de 2025. Os critérios para figurar no Índice incluíram disponibilidade pública e facilidade de uso, e desenvolvedores com uma avaliação de mercado de mais de US$1 bilhão. Cerca de 80% dos bots do Índice foram lançados ou tiveram grandes atualizações nos últimos dois anos. A atualização do Índice mostra que – fora dos bots de IA chineses – quase todos os agentes dependem de alguns modelos fundamentais (GPT, Claude, Gemini), uma concentração significativa de poder de plataforma por trás da revolução da IA, além de potenciais pontos de estrangulamento sistêmico.

Staufer aponta que não existem padrões estabelecidos para como os agentes de IA devem se comportar na web. A maioria dos agentes não revela sua natureza de IA para os usuários finais ou terceiros por padrão. Apenas três agentes suportam a marcação de mídia gerada para identificá-la como proveniente de IA. Pelo menos seis agentes de IA no Índice usam explicitamente tipos de código e endereços de IP projetados para imitar o comportamento de navegação humana e contornar proteções anti-bots. “Os operadores de sites não podem mais distinguir entre um visitante humano, um agente legítimo e um bot raspando conteúdo”, disse Staufer. “Isso tem implicações significativas para tudo, desde compras online e preenchimento de formulários até serviços de reserva e raspagem de conteúdo.”

A atualização inclui um estudo de caso sobre o Perplexity Comet: um dos agentes de IA baseados em navegador mais autônomos no Índice, bem como um dos mais arriscados e menos transparentes. Comet é comercializado por sua capacidade de “trabalhar como um assistente humano”. A Amazon já ameaçou entrar com uma ação jurídica contra o Comet por não se identificar como um agente de IA ao interagir com seus serviços.

“Sem divulgações adequadas de segurança, vulnerabilidades podem ser reveladas apenas quando são exploradas”, disse Staufer. “Por exemplo, agentes de navegador podem agir diretamente no mundo real fazendo compras, preenchendo formulários ou acessando contas. Isso significa que as consequências de uma falha de segurança podem ser imediatas e de longo alcance.” Staufer destaca que no ano passado, pesquisadores de segurança descobriram que conteúdos maliciosos em uma página da web poderiam sequestrar um agente de navegador para executar comandos, enquanto outros ataques conseguiam extrair dados privados dos usuários de serviços conectados.

Staufer acrescentou: “O mais recente Índice de Agentes de IA revela a crescente lacuna entre o ritmo de implantação e o ritmo de avaliação de segurança. A maioria dos desenvolvedores compartilha pouca informação sobre segurança, avaliações e impactos sociais.” “Os agentes de IA estão ficando mais autônomos e mais capazes de agir no mundo real, mas as estruturas de transparência e governança necessárias para gerenciar essa mudança estão perigosamente atrasadas.”