A Cloudflare está fornecendo aos sites uma nova ferramenta para retomar algum controle, à medida que empresas de inteligência artificial continuam a coletar informações e raspar enormes quantidades de conteúdo online. O novo sistema ajuda proprietários de sites a decidir se os bots de IA podem acessar seu material e, caso positivo, a que preço. Para muitos editores, isso poderia oferecer a chance de transformar a rastreabilidade de seu trabalho em algo que gera lucro.
Os sites agora estão estabelecendo as regras
O surgimento de rastreadores impulsionados por IA tem causado frustração entre os criadores de conteúdo. Enquanto esses bots coletam informações para construir grandes modelos de linguagem e outros produtos de IA, muitas vezes o fazem sem gerar tráfego de volta às páginas originais. Isso tem minado lentamente o número de visitantes de muitos websites que, anteriormente, contavam com isso para gerar receita com publicidade.
Automatize a indexação de páginas no Google, monitore status e erros, e melhore seu SEO.
Solução perfeita para criar assinaturas de e-mail profissionais e personalizadas.
Gere vídeos de marketing a partir de qualquer prompt de texto, script ou postagem de blog usando IA.
Identifique visitantes anônimos do site, qualifique-os e converta-os em leads.
Crie fotos, arte e imagens com a mais recente tecnologia de IA.
O serviço de validação de e-mail mais preciso que limpa endereços de e-mail inválidos.
Crie sua própria ferramenta de IA sem código! Ganhe dinheiro com assinaturas.
Crie conteúdo de alta qualidade com relevância para SEO com esta poderosa ferramenta de IA.
A mais recente funcionalidade da Cloudflare dá aos proprietários de sites uma maneira de gerenciar isso. Agora, eles podem decidir se bloqueiam completamente os rastreadores de IA ou os cobram através de um sistema que precifica cada visita. Esse abordagem permite aos editores assumirem uma posição onde podem controlar como seu conteúdo é usado, em vez de simplesmente observar ele ser raspado.
Este sistema está atualmente disponível como parte do programa beta de Pay Per Crawl (pagamento por rastreamento) da Cloudflare. Proprietários de sites interessados podem se inscrever para acesso antecipado aqui.
Editoras e plataformas estão se envolvendo
Várias grandes editoras e plataformas sociais se manifestaram em apoio a essa ação. Empresas por trás de marcas e websites conhecidos estão prestando muita atenção em como a IA está remodelando a internet. Muitos deles estão buscando formas de proteger seu trabalho e encontrar caminhos para novas receitas.
A internet passou por uma rápida mudança na forma como o tráfego se movimenta. Por anos, os mecanismos de busca coletaram conteúdo e enviaram usuários para os websites de onde as informações provinham. Esse modelo funcionava bem para os criadores de conteúdo. Ele ajudava a construir audiências e sustentava negócios de publicidade. Mas o fluxo de visitantes não é mais o mesmo.
Padrões recentes mostram que os rastreadores da web do Google ainda estão ativos, mas a empresa agora envia muito menos visitantes do que fazia há apenas alguns meses. Dados da Cloudflare sugerem que a lacuna entre o rastreamento e as referências aumentou consideravelmente. Costumava ser cerca de seis rastreamentos para cada visitante enviado de volta a um site, mas agora, essa lacuna aumentou para cerca de dezoito rastreamentos por visitante. Parte dessa mudança parece estar relacionada aos novos recursos de pesquisa do Google que fornecem respostas diretamente na página de resultados, o que significa menos pessoas clicam no link para a fonte original.
Outras empresas de IA coletam conteúdo a taxas ainda mais altas sem enviar tráfego de volta. A OpenAI, por exemplo, tem uma lacuna muito maior entre o que coleta e o que oferece em troca.
Rastreadores de IA estão desafiando hábitos antigos da web
Por muito tempo, a web funcionou com um padrão simples. Os mecanismos de busca rastrearam a web, indexaram as informações e passaram visitantes de volta para os sites que encontraram. Esse ciclo apoiava as pessoas e empresas que criavam conteúdo.
Agora, com bots de IA coletando materiais para treinar chatbots e modelos de linguagem, grande parte desse equilíbrio mudou. Esses sistemas de IA frequentemente fornecem informações diretamente aos usuários sem apontá-los para os websites originais. Como resultado, muitos editores se sentem excluídos do processo.
Alguns empresas de IA também encontraram maneiras de contornar ferramentas técnicas destinadas a bloquear a raspagem de conteúdo. Eles argumentam que coletar informações públicas dessa maneira não viola nenhuma lei. Por outro lado, muitos editores acreditam que seus direitos estão sendo ignorados.
O conflito já está sendo resolvido nos tribunais. Algumas empresas moveram processos contra empresas de IA, acusando-as de usar seu trabalho sem permissão. Ao mesmo tempo, outros editores estão fazendo acordos para licenciar seu conteúdo para empresas de IA sob termos acordados.
Disputas jurídicas e acordos estão remodelando o espaço
A luta sobre como empresas de IA usam conteúdo online está se desenrolando em várias frentes. O Reddit, por exemplo, lançou recentemente uma ação legal contra uma empresa de IA que alega ter raspado postagens de usuários sem aprovação. No entanto, o Reddit também fechou um acordo de compartilhamento de conteúdo com o Google, mostrando que algumas empresas estão escolhendo ambos os caminhos: processar quando necessário e fazer parcerias quando possível.
A nova ferramenta da Cloudflare chega em um momento em que os editores estão procurando urgentemente maneiras de estabelecer limites e, se possível, obter pagamento justo quando empresas de IA se baseiam em seu trabalho. A crescente tensão em torno dos rastreadores de IA está levando a internet em direção a novas regras, e essa ferramenta pode fazer parte dessa mudança.