A maioria dos Bots de IA não têm documentos formais de segurança e avaliação publicados, revela estudo

  • Categoria do post:Notícias

História: Fred Lewsey.

Uma investigação sobre 30 dos principais agentes de inteligência artificial revela que apenas quatro publicaram documentos formais de segurança e avaliação relacionados aos bots reais.

Muitos de nós agora usam chatbots de IA para planejar refeições e escrever e-mails, navegadores da web aprimorados por IA para reservar viagens e comprar ingressos, e IA de escritório para gerar faturas e relatórios de desempenho.

No entanto, um novo estudo sobre o “ecossistema de agentes de IA” sugere que conforme esses bots de IA se tornam rapidamente parte da vida cotidiana, a divulgação básica de segurança está “perigosamente atrasada”.

Uma equipe de pesquisa liderada pela Universidade de Cambridge descobriu que os desenvolvedores de IA compartilham muitos dados sobre o que esses agentes podem fazer, ao mesmo tempo em que retêm evidências das práticas de segurança necessárias para avaliar os riscos que a IA pode representar.

O AI Agent Index, projeto que inclui pesquisadores do MIT, Stanford e da Universidade Hebraica de Jerusalém, investigou as habilidades, transparência e segurança de trinta agentes de IA “state of the art”, com base em informações públicas e correspondência com os desenvolvedores.

A última atualização do Índice é liderada por Leon Staufer, pesquisador estudante de um mestrado em Cambridge no Leverhulme Centre for the Future of Intelligence. A pesquisa analisou dados disponíveis para uma variedade de bots de chat, navegadores e fluxo de trabalho de IA construídos principalmente nos EUA e na China.

A equipe encontrou uma “lacuna significativa de transparência”. Os desenvolvedores de apenas quatro bots de IA no Índice publicam “system cards” específicos do agente: documentos formais de segurança e avaliação que abrangem desde níveis de autonomia e comportamento até análises de riscos do mundo real.

Além disso, 25 dos 30 agentes de IA no Índice não divulgam os resultados internos de segurança, enquanto 23 dos 30 agentes não fornecem dados de testes de terceiros, apesar de serem as evidências empíricas necessárias para avaliar rigorosamente o risco.

Incidentes de segurança conhecidos ou preocupações foram publicados apenas para cinco agentes de IA, enquanto vulnerabilidades de “injeção de instruções” – quando instruções maliciosas manipulam o agente para ignorar as salvaguardas – são documentadas para dois desses agentes.

Dos cinco agentes de IA chineses analisados no Índice, apenas um havia publicado quaisquer estruturas de segurança ou padrões de conformidade de qualquer tipo.

“Muitos desenvolvedores marcam a caixa de segurança de IA concentrando-se no grande modelo de linguagem subjacente, enquanto fornecem pouca ou nenhuma divulgação sobre a segurança dos agentes construídos sobre ele”, disse Leon Staufer da Universidade de Cambridge, autor líder da atualização do Índice.

“Os comportamentos críticos para a segurança de IA surgem do planejamento, ferramentas, memória e políticas do próprio agente, não apenas do modelo subjacente, e muito poucos desenvolvedores compartilham essas avaliações.”

De fato, os pesquisadores identificam 13 agentes de IA que apresentam níveis “fronteiriços” de autonomia, mas apenas quatro deles divulgam quaisquer avaliações de segurança do bot em si.

“Os desenvolvedores publicam estruturas amplas e de alto nível de segurança e ética que são tranquilizadoras, mas estão publicando evidências empíricas limitadas necessárias para realmente entender os riscos”, disse Staufer.

“Os desenvolvedores são muito mais abertos sobre as capacidades de seus agentes de IA. Essa assimetria de transparência sugere uma forma mais fraca de lavagem de segurança.”

A última atualização anual fornece informações verificadas em 1.350 campos para os trinta principais bots de IA, até o último dia de 2025.

Os critérios para figurar no Índice incluíram a disponibilidade pública e a facilidade de uso, e desenvolvedores com uma avaliação de mercado de mais de US$1 bilhão. Cerca de 80% dos bots do Índice foram lançados ou tiveram grandes atualizações nos últimos dois anos.

A atualização do Índex mostra que – fora dos bots de IA chineses – quase todos os agentes dependem de alguns modelos fundamentais (GPT, Claude, Gemini), uma concentração significativa de poder de plataforma por trás da revolução da IA, bem como potenciais pontos de estrangulamento sistêmicos.

Staufer destaca que não existem padrões estabelecidos para o comportamento de agentes de IA na web. A maioria dos agentes não divulga sua natureza de IA para os usuários finais ou terceiros por padrão. Apenas três agentes suportam a marca d’água de mídia gerada para identificá-la como oriunda de IA.

Pelo menos seis agentes de IA no Índice usam explicitamente tipos de código e endereços IP projetados para imitar o comportamento de navegação humano e contornar proteções antirrobô.

“Os operadores de sites não conseguem mais distinguir entre um visitante humano, um agente legítimo e um bot que raspa conteúdo”, disse Staufer. “Isso tem implicações significativas para tudo, desde compras online e preenchimento de formulários até serviços de reserva e coleta de conteúdo.”

A atualização inclui um estudo de caso sobre o Perplexity Comet: um agente de IA baseado em navegador mais autônomo no Índice, bem como um dos mais arriscados e menos transparentes.

O Comet é comercializado por sua capacidade de “trabalhar exatamente como um assistente humano”. A Amazon já ameaçou ação legal contra o Comet por não se identificar como um agente de IA ao interagir com seus serviços.

“Sem divulgações adequadas de segurança, as vulnerabilidades podem vir à tona apenas quando são exploradas”, disse Staufer.

“Por exemplo, os agentes do navegador podem agir diretamente no mundo real fazendo compras, preenchendo formulários ou acessando contas. Isso significa que as consequências de uma falha de segurança podem ser imediatas e de longo alcance.”

Staufer ressalta que no ano passado, pesquisadores de segurança descobriram que conteúdos maliciosos em uma página da web poderiam sequestrar um agente de navegador para executar comandos, enquanto outros ataques podiam extrair dados privados dos usuários de serviços conectados.

Staufer também apontou: “O último AI Agent Index revela a crescente lacuna entre o ritmo de implantação e o ritmo de avaliação da segurança. A maioria dos desenvolvedores compartilha poucas informações sobre segurança, avaliações e impactos societais.”

“Os agentes de IA estão se tornando mais autônomos e mais capazes de agir no mundo real, mas as estruturas de transparência e governança necessárias para gerenciar essa mudança estão perigosamente atrasadas.”