Cloudflare, la empresa de infraestructura de internet responsable de enrutear aproximadamente el 20% del tráfico web global, ha anunciado que comenzará a bloquear rastreadores de inteligencia artificial (IA) por defecto.
El cambio, efectivo el martes, modifica cómo las empresas de IA podrán acceder al contenido alojado en la web después de que los editores presionaron por más control y compensación por sus datos.
La red de entrega de contenido (CDN) ayuda a los sitios web a almacenar en caché y servir datos más cerca de los usuarios. Con esta nueva política, cualquier nuevo dominio que se registre para los servicios de Cloudflare será invitado a decidir cuándo y si los bots de IA pueden acceder a su contenido, o pueden elegir bloquear a los raspadores por completo.
Cloudflare lanza herramientas para controlar el acceso de IA
El cambio se suma a las iniciativas anteriores de Cloudflare para dar a los editores más control sobre sus datos. El año pasado, la empresa introdujo una solución de un clic para bloquear todos los bots de IA conocidos y un panel para monitorear la actividad de los rastreadores. Los propietarios de sitios utilizan la herramienta para distinguir entre los rastreadores que recopilan datos para entrenamiento de IA, propósitos de búsqueda u otros usos.
El anuncio del martes formaliza esas protecciones y las aplica por defecto. “Los rastreadores de IA han estado raspando contenido sin límites. Nuestro objetivo es devolver el poder a las manos de los creadores, mientras ayudamos a las empresas de IA a innovar”, dijo el CEO de Cloudflare, Matthew Prince, en un comunicado emitido hoy.
Según los registros de la empresa, el sistema de Pago por Rastreo de Cloudflare, la base de esta iniciativa, es un mercado donde las empresas de IA y los propietarios de contenido pueden acordar una compensación por acceso.
Ambas partes deben tener cuentas de Cloudflare, y una vez configuradas, pueden negociar precios y términos para actividades de rastreo web. Cloudflare actúa como intermediario en la transacción, cobrando a la empresa de IA y pasando las ganancias al editor.
Los desarrolladores de IA lamentan el acceso limitado a sitios web
Varios desarrolladores de IA, incluidos OpenAI, la empresa de inteligencia artificial respaldada por Microsoft detrás de ChatGPT, se han negado a participar en el programa. En una reciente declaración pública, la empresa criticó a Cloudflare por insertar un nuevo intermediario entre editores y desarrolladores de IA.
OpenAI mencionó que tiene un historial de honrar el protocolo robots.txt, un archivo que permite a los operadores de sitios web controlar el acceso de los rastreadores, e insistió en que respeta las preferencias del sitio.
En un análisis de junio, Cloudflare afirma haber encontrado una brecha entre la frecuencia de raspado y las referencias de tráfico. El rastreador de Google, por ejemplo, accedió a sitios web 14 veces por cada visita que envió de regreso. En comparación, el bot de OpenAI raspó sitios 17,000 veces por cada referencia.
El abogado tecnológico con sede en el Reino Unido, Matthew Holman, dijo a CNBC que los rastreadores de IA pueden ser intrusivos y potencialmente perjudiciales para la experiencia del usuario.
“Se les ha acusado de abrumar sitios web e impactar significativamente la experiencia del usuario,” dijo. Holman agregó que si el sistema de Cloudflare funciona como se pretende, podría limitar la capacidad de los chatbots de IA para recopilar y entrenar con datos web a gran escala.
Los editores se agrupan en apoyo a Cloudflare
Las principales empresas de medios apoyan los esfuerzos de Cloudflare para recuperar el control sobre el contenido digital. Editores, incluidos TIME, The Associated Press, Conde Nast, The Atlantic, ADWEEK y Fortune, han acordado bloquear a los bots de IA por defecto.
Los medios de comunicación han estado aceptando la recopilación de datos de plataformas como Google a cambio de tráfico y ingresos publicitarios. Pero el ecosistema actual impulsado por IA no tiene tal reciprocidad. Para muchos, plataformas de IA como ChatGPT y Claude consumen contenido sin un compromiso significativo o ingresos para las fuentes originales.
Cloudflare dice que continuará trabajando con los desarrolladores para que los rastreadores de IA que deseen obtener acceso revelen su identidad, propósito y comportamiento de rastreo.
“El contenido original es lo que hace de Internet uno de los mayores inventos del último siglo”, afirmó el CEO Matthew Prince. “Debemos unirnos para protegerlo.”
KEY Difference Wire ayuda a las marcas de criptomonedas a destacarse y dominar los titulares rápidamente