Cloudflare y OpenAI presentaron los primeros hallazgos de un proyecto piloto de investigación iniciado en julio de 2026, diseñado para evaluar cómo las señales de red de Cloudflare pueden ayudar a los sistemas de inteligencia artificial a descubrir, indexar y representar contenido web de manera más eficaz y segura.
A medida que los usuarios recurren con mayor frecuencia a la IA para consultar información detallada, el proyecto aborda la necesidad de que estos sistemas localicen contenido relevante, dirijan tráfico hacia las fuentes originales y permitan que los propietarios de los sitios mantengan el control sobre el acceso a sus plataformas.
Entre los principales hallazgos y avances técnicos hasta ahora se encuentran:
Mayor cobertura de indexación: Utilizando una muestra equivalente al 1 % del tráfico global de la red de Cloudflare, OpenAI logró identificar e indexar cientos de millones de páginas web previamente desconocidas para su motor de búsqueda.
Eficiencia en el rastreo (crawling): El uso de señales de red ha permitido filtrar el tráfico automatizado hacia direcciones inexistentes, redirecciones masivas y contenido duplicado. Esto reduce las cargas innecesarias de servidor para los editores y optimiza los recursos de rastreo de OpenAI.
Ciberseguridad focalizada: Se implementaron mecanismos para identificar y aislar páginas potencialmente comprometidas (como formularios falsos) a nivel de URL específica, evitando la penalización completa del dominio legítimo.
Protección de datos y control: La iniciativa utiliza únicamente metadatos de red para mejorar la localización de contenido. Los textos y contenidos de las páginas no son compartidos ni utilizados para el entrenamiento de modelos de IA. Asimismo, los propietarios pueden gestionar el acceso de la IA a sus dominios mediante la herramienta AI Crawl Control de Cloudflare.
La siguiente fase de la investigación se enfocará en optimizar la selección de páginas, probar señales de actualización de contenido más rápidas y medir el impacto directo del tráfico derivado desde ChatGPT Search hacia los editores originales. Ambos equipos continuarán evaluando el equilibrio entre el descubrimiento de información oportuna y la reducción de costos de infraestructura para la web abierta.
