Cloudflare va demander à Google de séparer les bots

Cloudflare a récemment annoncé le blocage automatique par défaut des robots d'IA pour les nouveaux domaines et une option de paiement à l'exploration (accès payant au contenu). Plusieurs experts SEO et propriétaires de sites web ont exprimé des doutes quant à l'efficacité de ces solutions. Matthew Prince , PDG de l'entreprise californienne, a fourni une explication sur X.

Google doit séparer le bot IA du bot standard

Il est bien connu que les modèles d'IA générative sont entraînés sur le contenu publié en ligne. Dans la plupart des cas, les éditeurs ne sont pas rémunérés . En raison d'un « scraping » indiscriminé, les utilisateurs lisent le contenu via divers chatbots, évitant ainsi de consulter la source, et les éditeurs génèrent moins de revenus publicitaires.

Cloudflare a récemment activé un blocage automatique des robots IA pour les nouveaux domaines. Cependant, un petit problème se pose : plusieurs moteurs de recherche utilisant l'IA utilisent le même robot pour indexer les sites et collecter du contenu afin d'entraîner leurs modèles d'IA. Google, par exemple, utilise deux robots principaux : Googlebot pour l'indexation et Google-Extended pour Gemini.

Matthew Prince, PDG de Cloudflare, a confirmé que Google Extended est bloqué par défaut. Cependant, l'entreprise de Mountain View a intégré AI Overview et AI Mode à son moteur de recherche. Pour empêcher ces deux fonctionnalités d'accéder au contenu, il est conseillé de bloquer Googlebot. Cela entraînera évidemment la désindexation du site (en gros, c'est comme s'il n'existait plus).

Matthew Prince espère que Google proposera un moyen de bloquer AI Overview et AI Mode sans bloquer l'indexation. Sans accord à l'amiable, Cloudflare pourrait demander une loi obligeant Google à séparer les services, mais cette solution semble peu pratique.

Le blocage automatique des robots par Cloudflare pourrait avoir un autre effet secondaire. Il existe un risque de blocage des robots utilisés pour la recherche universitaire et les analyses de sécurité. Le travail d'Internet Archive pourrait également être entravé, l'empêchant de préserver les pages web via la populaire Wayback Machine.