Cloudflare bloque les robots IA et annonce le paiement par exploration

Comme annoncé par son PDG il y a quelques jours, Cloudflare a annoncé de nouveaux outils permettant aux éditeurs d'empêcher le scraping indiscriminé de contenu par des robots d'exploration ou des robots d'intelligence artificielle . Les propriétaires de sites peuvent également utiliser le paiement à l'exploration .

Cloudflare bloque tous les robots IA

Matthew Prince , PDG de Cloudflare, affirme que le 1er juillet restera dans les mémoires comme le Jour de l'Indépendance du Contenu . Depuis près de 30 ans, un échange réciproque existe entre les moteurs de recherche et les sites web. Les premiers indexent le contenu des seconds et redirigent les utilisateurs vers la source originale. Les éditeurs profitent ensuite de revenus publicitaires basés sur le nombre de visiteurs.

Ce modèle vertueux ne fonctionne plus. Aujourd'hui, des robots d'exploration d'intelligence artificielle (OpenAI, Anthropic, Google et d'autres entreprises) récupèrent du texte, des images et des vidéos pour générer une réponse, mais les utilisateurs ne consultent pas la source originale du contenu. Les revenus de l'éditeur diminuent et celui-ci doit choisir entre la fermeture du site ou l'abonnement payant.

Il y a exactement un an, Cloudflare annonçait un outil permettant de bloquer tous les robots d'IA en un seul clic ( fin mars , un outil permettant de tromper les robots d'exploration IA a été introduit). Ce blocage est désormais actif par défaut .

Pour chaque nouveau domaine, vous pouvez décider d'autoriser ou non les robots d'IA à accéder au contenu. En pratique, les entreprises d'IA doivent demander une autorisation explicite . Cloudflare propose également la gestion de la modification du fichier robots.txt . Il sera automatiquement créé et mis à jour par l'entreprise californienne. Le blocage des robots d'IA est également disponible uniquement pour les parties du site monétisées par la publicité.

La dernière innovation est le paiement à l'exploration (Paiement par exploration) , disponible en version bêta privée pour un nombre limité d'éditeurs. Les éditeurs peuvent fixer un prix que les entreprises d'IA doivent payer pour accéder au contenu. Ils peuvent convenir de tarifs distincts pour chaque bot d'IA. À l'avenir, il sera possible d'utiliser des agents d'IA pour définir des tarifs dynamiques (différents selon le type de contenu ou le nombre d'utilisateurs).