Cloudflare chiederà a Google di separare i bot

Cloudflare ha annunciato recentemente il blocco automatico predefinito dei bot AI per i nuovi domini e l’opzione Pay per Crawl (pagamento per l’accesso ai contenuti). Diversi esperti SEO e proprietari di siti web hanno espresso dubbi sull’efficacia di queste soluzioni. Matthew Prince (CEO dell’azienda californiana) ha fornito spiegazioni su X.

Google deve separare il bot AI da quello standard

È noto che i modelli di intelligenza artificiale generativa vengono addestrati con i contenuti pubblicati sui Internet. Nella maggioranza dei casi non viene pagato nulla agli editori. A causa dello “scraping” selvaggio, gli utenti leggono i contenuti attraverso i vari chatbot, quindi non visitano la fonte e gli editori guadagnano meno dalle inserzioni pubblicitarie.

Cloudflare ha recentemente attivato il blocco automatico dei bot AI per i nuovi domini. C’è tuttavia un “piccolo” problema. Diversi motori di ricerca con funzionalità AI usano lo stesso bot per l’indicizzazione dei siti e la raccolta dei contenuti per l’addestramento dei modelli AI. Google, ad esempio, usa due bot principali: Googlebot per l’indicizzazione e Google-Extended per Gemini.

Matthew Prince (CEO di Cloudflare) ha confermato che Google-Extended viene bloccato per impostazione predefinita. L’azienda di Mountain View ha tuttavia integrato AI Overview e AI Mode nel motore di ricerca. Per impedire alle due funzionalità di accedere ai contenuti si dovrebbe bloccare Googlebot. Ciò ovviamente causerà la deindicizzazione del sito (in pratica è come se non esistesse più).

Matthew Prince spera che Google offra un modo per bloccare AI Overview e AI Mode, senza bloccare l’indicizzazione. Senza un accordo amichevole, Cloudflare potrebbe chiedere l’approvazione di una legge che obblighi Google a separare i servizi, ma questa sembra una soluzione impraticabile.

Il blocco automatico dei bot introdotto da Cloudflare potrebbe avere un altro effetto collaterale. C’è il rischio che vengano bloccati i bot usati per ricerca accademica e scansioni di sicurezza. Anche il lavoro di The Internet Archive potrebbe essere ostacolato, impedendo la conservazione delle pagine web tramite la nota Wayback Machine.