Cloudflare zal Google vragen om bots te scheiden

Cloudflare heeft onlangs de automatische standaardblokkering van AI-bots voor nieuwe domeinen en een Pay-per-Crawl-optie (betalen voor toegang tot content) aangekondigd . Verschillende SEO-experts en website-eigenaren hebben hun twijfels geuit over de effectiviteit van deze oplossingen. Matthew Prince , CEO van het in Californië gevestigde bedrijf, gaf een toelichting op X.

Google moet de AI-bot scheiden van de standaardbot

Het is algemeen bekend dat generatieve AI-modellen worden getraind op online gepubliceerde content. In de meeste gevallen krijgen uitgevers er niets voor betaald . Door willekeurig 'scrapen' lezen gebruikers content via verschillende chatbots, waardoor ze de bron niet hoeven te bezoeken. Hierdoor verdienen uitgevers minder aan advertenties.

Cloudflare heeft onlangs een automatische AI-botblokkering voor nieuwe domeinen geactiveerd. Er is echter een klein probleempje. Verschillende AI-gestuurde zoekmachines gebruiken dezelfde bot voor het indexeren van sites en het verzamelen van content om hun AI-modellen te trainen. Google gebruikt bijvoorbeeld twee belangrijke bots: Googlebot voor indexering en Google-Extended voor Gemini.

Matthew Prince, CEO van Cloudflare, bevestigde dat Google Extended standaard geblokkeerd is. Het bedrijf uit Mountain View heeft echter AI Overview en AI Mode in de zoekmachine geïntegreerd. Om te voorkomen dat deze twee functies toegang krijgen tot content, moet Googlebot worden geblokkeerd. Dit zal er uiteraard toe leiden dat de website wordt gedeïndexeerd (in feite alsof deze niet meer bestaat).

Matthew Prince hoopt dat Google een manier zal bieden om AI Overview en AI Mode te blokkeren zonder indexering te blokkeren. Zonder een minnelijke schikking zou Cloudflare wetgeving kunnen nastreven die Google verplicht de diensten te scheiden, maar dit lijkt een onpraktische oplossing.

De automatische botblokkering van Cloudflare zou nog een ander neveneffect kunnen hebben. Er bestaat een risico dat bots die gebruikt worden voor academisch onderzoek en beveiligingsscans geblokkeerd worden. Ook het werk van The Internet Archive zou belemmerd kunnen worden, doordat het geen webpagina's meer kan bewaren via de populaire Wayback Machine.