Cloudflare le pedirá a Google que separe los bots

Cloudflare anunció recientemente el bloqueo automático predeterminado de bots de IA para nuevos dominios y una opción de pago por rastreo (pago por acceso al contenido). Varios expertos en SEO y propietarios de sitios web han expresado dudas sobre la eficacia de estas soluciones. Matthew Prince , director ejecutivo de la empresa californiana, ofreció una explicación en X.

Google debe separar el bot de IA del estándar

Es bien sabido que los modelos de IA generativa se entrenan con contenido publicado en línea. En la mayoría de los casos, los editores no reciben remuneración alguna . Debido al scraping indiscriminado, los usuarios leen el contenido a través de varios chatbots, evitando así visitar la fuente, y los editores obtienen menos ingresos por publicidad.

Cloudflare activó recientemente un bloqueo automático de bots de IA para nuevos dominios. Sin embargo, existe un pequeño problema. Varios motores de búsqueda con IA utilizan el mismo bot para indexar sitios y recopilar contenido para entrenar sus modelos de IA. Google, por ejemplo, utiliza dos bots principales: Googlebot para indexar y Google Extended para Gemini.

Matthew Prince, CEO de Cloudflare, confirmó que Google Extended está bloqueado por defecto. Sin embargo, la compañía de Mountain View ha integrado AI Overview y AI Mode en el motor de búsqueda. Para evitar que estas dos funciones accedan al contenido, Googlebot debería estar bloqueado. Esto, obviamente, provocará la desindexación del sitio (esencialmente, es como si ya no existiera).

Matthew Prince espera que Google ofrezca una forma de bloquear la Vista General de IA y el Modo IA sin bloquear la indexación. Sin un acuerdo amistoso, Cloudflare podría solicitar una legislación que obligue a Google a separar los servicios, pero esta parece una solución poco práctica.

El bloqueo automático de bots de Cloudflare podría tener otro efecto secundario. Existe el riesgo de que se bloqueen los bots utilizados para investigación académica y análisis de seguridad. El trabajo de Internet Archive también podría verse obstaculizado, impidiéndole preservar páginas web a través de la popular Wayback Machine.