Cloudflare blokkeert AI-bots en kondigt Pay Per Crawl aan

Zoals de CEO een paar dagen geleden al verwachtte , heeft Cloudflare nieuwe tools aangekondigd waarmee uitgevers het lukraak scrapen van content door zogenaamde crawlers of AI-bots kunnen voorkomen. Website-eigenaren kunnen ook gebruikmaken van Pay per Crawl .

Cloudflare blokkeert alle AI-bots

Matthew Prince , CEO van Cloudflare, zegt dat 1 juli herinnerd zal worden als Content Independence Day . Al bijna 30 jaar is er een wederzijdse uitwisseling tussen zoekmachines en websites. De eerste indexeert de content van de tweede en leidt gebruikers naar de oorspronkelijke bron. Uitgevers profiteren vervolgens van advertentie-inkomsten op basis van het aantal bezoekers.

Dit model werkt niet meer. Tegenwoordig zijn er AI-crawlers van OpenAI, Anthropic, Google en andere bedrijven die tekst, afbeeldingen en video's 'scrapen' om een ​​reactie te genereren, maar gebruikers bezoeken de oorspronkelijke bron van de content niet. De inkomsten voor de uitgever dalen en hij moet kiezen tussen het sluiten van de site of een betaalmuur (abonnement).

Precies een jaar geleden kondigde Cloudflare een tool aan waarmee je alle AI-bots met één klik kunt blokkeren ( eind maart werd een tool geïntroduceerd die AI-crawlers voor de gek houdt). Nu is de blokkering standaard actief.

Voor elk nieuw domein kunt u bepalen of u AI-bots toegang tot de content wilt geven. In de praktijk moeten AI-bedrijven expliciet toestemming vragen. Cloudflare biedt ook beheerde bewerking van het robots.txt bestand. Dit bestand wordt automatisch aangemaakt en bijgewerkt door het Californische bedrijf. Het blokkeren van AI-bots is ook alleen beschikbaar voor delen van de site die inkomsten genereren met advertenties.

De nieuwste innovatie is Pay per Crawl , beschikbaar als private bètaversie voor een beperkt aantal uitgevers. Uitgevers kunnen een prijs vaststellen die AI-bedrijven moeten betalen voor toegang tot content. Uitgevers kunnen aparte prijzen afspreken voor elke AI-bot. In de toekomst is het mogelijk om AI-agenten in te zetten om dynamische prijzen te kiezen (afhankelijk van het type content of het aantal gebruikers).