Cloudflare bloqueia bots de IA e anuncia pagamento por rastreamento

Conforme antecipado pelo CEO há alguns dias, a Cloudflare anunciou novas ferramentas que permitem aos editores impedir a coleta indiscriminada de conteúdo pelos chamados rastreadores ou bots de IA . Proprietários de sites também podem usar o pagamento por rastreamento .

Cloudflare bloqueia todos os bots de IA

Matthew Prince , CEO da Cloudflare, afirma que 1º de julho será lembrado como o Dia da Independência do Conteúdo . Há quase 30 anos, existe uma troca recíproca entre mecanismos de busca e sites. Os primeiros indexam o conteúdo dos segundos e direcionam os usuários à fonte original. Os editores, então, lucram com a receita de publicidade com base no número de visitantes.

Este modelo virtuoso não funciona mais. Hoje, existem rastreadores de IA da OpenAI, Anthropic, Google e outras empresas que "raspam" texto, imagens e vídeos para gerar uma resposta, mas os usuários não visitam a fonte original do conteúdo. A receita do editor diminui e ele precisa escolher entre fechar o site ou pagar (assinatura).

Exatamente um ano atrás, a Cloudflare anunciou uma ferramenta que permite bloquear todos os bots de IA com um único clique (no final de março , foi lançada uma ferramenta que engana os rastreadores de IA). Agora, o bloqueio está ativo por padrão .

Para cada novo domínio, você pode decidir se permite ou não que bots de IA acessem o conteúdo. Na prática, as empresas de IA precisam solicitar permissão explícita . A Cloudflare também oferece edição gerenciada do arquivo robots.txt . Ele será criado e atualizado automaticamente pela empresa californiana. O bloqueio de bots de IA também está disponível apenas para partes do site monetizadas com publicidade.

A inovação mais recente é o Pay per Crawl , disponível em beta privado para um número limitado de editores. Os editores podem definir um preço que as empresas de IA devem pagar para acessar o conteúdo. Os editores podem concordar com preços separados para cada bot de IA. No futuro, será possível usar agentes de IA para escolher preços dinâmicos (diferentes com base no tipo de conteúdo ou no número de usuários).