Cloudflare separa la búsqueda, el entrenamiento y los agentes de IA. Lo que las marcas deben saber

El 15 de septiembre de 2026, Cloudflare cambió la forma en que los propietarios de sitios web controlan los rastreadores de IA. El cambio importante no es simplemente que haya más configuraciones. Es que Cloudflare ahora trata la búsqueda, el entrenamiento de modelos y los agentes de IA como comportamientos diferentes.

Para las marcas, esa distinción importa. Un sitio web puede querer seguir siendo detectable en las búsquedas y en las respuestas generadas por IA sin dar a cada rastreador permiso para usar su contenido para el entrenamiento de modelos. Hasta ahora, esos objetivos podían ser difíciles de separar cuando un único rastreador cumplía más de un propósito.

Los nuevos controles de Cloudflare están diseñados para hacer esa elección más precisa.

Qué cambió Cloudflare

Cloudflare ahora agrupa la actividad de los rastreadores relacionada con la IA en tres comportamientos.

Búsqueda cubre los rastreadores que construyen un índice para que el contenido pueda ser encontrado posteriormente. Entrenamiento cubre los rastreadores utilizados para entrenar o ajustar modelos. Agente cubre los sistemas dirigidos por el usuario que visitan una página en tiempo real en nombre de una persona, como los bots de recuperación de chat y los agentes de uso del navegador.

La compañía también está dejando de usar su antiguo control Bloquear Bots de IA en favor de estas configuraciones más granulares. Cloudflare dice que las preferencias existentes de los clientes se migrarán automáticamente a los nuevos controles de Búsqueda, Entrenamiento y Agente. Su documentación explica las opciones de política actualizadas aquí.

La mayor adición es una configuración llamada Deshabilitar Entrenamiento de IA. Está destinada a sitios que desean expresar una preferencia de no entrenamiento sin eliminarse innecesariamente del descubrimiento en búsquedas.

Eso suena como un cambio sutil en la infraestructura. En la práctica, resuelve un problema cada vez más importante para las marcas.

Por qué el antiguo enfoque de "bloquear IA" era demasiado rudimentario

Algunos rastreadores son de un solo propósito. Otros son de propósito mixto y pueden soportar tanto la búsqueda convencional como los usos relacionados con la IA.

Cloudflare identifica específicamente a Applebot, Bingbot y Googlebot como rastreadores de uso mixto. Bajo los controles actualizados, elegir Bloquear para el entrenamiento ahora puede bloquear completamente esos rastreadores, incluida su función de búsqueda. Eso significa que una decisión tomada para restringir el entrenamiento de IA también podría afectar la detectabilidad en búsquedas ordinarias.

La nueva opción Deshabilitar Entrenamiento de IA de Cloudflare está diseñada para evitar ese compromiso para los operadores de rastreadores que soportan una preferencia separada de no entrenamiento.

La demanda de esa distinción ya es visible en los propios datos de Cloudflare. La compañía dice que menos del 1% de los sitios de Cloudflare eligen bloquear los bots de búsqueda, mientras que el 17% utiliza algún mecanismo para bloquear el entrenamiento. En otras palabras, la mayoría de los propietarios de sitios parecen ver el descubrimiento y el entrenamiento de modelos como dos decisiones diferentes. Cloudflare publicó las cifras en su anuncio del 15 de septiembre.

Para los equipos de marketing, SEO y contenido, la conclusión clave es: "¿Puede este sistema encontrar nuestro contenido?" y "¿Puede esta empresa entrenar con nuestro contenido?" ya no son la misma pregunta.

Búsqueda, entrenamiento y agentes son tres decisiones diferentes

El valor práctico del modelo de Cloudflare es que obliga a los propietarios de sitios web a pensar en el acceso de los rastreadores por propósito en lugar de por una categoría vaga llamada "bots de IA".

Un rastreador de búsqueda puede indexar una página de producto para que luego pueda aparecer en los resultados de búsqueda. Un rastreador de entrenamiento puede recopilar la misma página como parte de un conjunto de datos utilizado para mejorar un modelo. Un agente puede recuperar la página en el momento en que un usuario le pide que compare productos, verifique la disponibilidad o resuma información.

Todas esas actividades pueden tocar la misma URL, pero las implicaciones comerciales son diferentes.

Para muchas marcas, el descubrimiento en búsquedas es deseable. El acceso de agentes también puede ser deseable cuando ayuda a un cliente a investigar o interactuar con el negocio. El entrenamiento de modelos es una cuestión de política separada que involucra derechos de contenido, valor comercial y preferencias organizacionales.

Cloudflare está ofreciendo a los propietarios de sitios una superficie de control más clara para esas elecciones.

Qué hace realmente "Deshabilitar Entrenamiento de IA"

Cloudflare dice que la nueva configuración utiliza Bot Preference Sync para publicar una preferencia apropiada de no entrenamiento en robots.txt mientras permite que los rastreadores de uso mixto reconocidos continúen operando para búsquedas.

Para los rastreadores de solo entrenamiento operados por empresas como Amazon, Anthropic, Meta y OpenAI, Cloudflare dice que puede bloquear el rastreador de entrenamiento sin afectar un rastreador de búsqueda separado cuando el operador separa esas funciones.

Apple y Google ya proporcionan mecanismos que distinguen la búsqueda del entrenamiento de IA. Apple usa Applebot-Extended, mientras que Google usa Google-Extended. Ambas empresas afirman que optar por no usar esas extensiones no afecta la clasificación de búsqueda convencional.

Microsoft es ligeramente diferente. Cloudflare dice que Microsoft está trabajando en una preferencia de no entrenamiento a nivel de dominio en robots.txt, prevista para principios de 2027. Hasta que ese soporte esté disponible, Cloudflare señala que seleccionar Deshabilitar Entrenamiento de IA no comunicará automáticamente una preferencia de no entrenamiento a Bing a través de robots.txt. Microsoft actualmente proporciona otros controles, incluido su mecanismo NOARCHIVE y Webmaster Tools.

Ese matiz es importante. Deshabilitar Entrenamiento de IA no es un protocolo universal que cada rastreador interprete de forma idéntica hoy. Es una capa de control que combina la clasificación y aplicación de rastreadores de Cloudflare con las preferencias compatibles con los operadores de rastreadores individuales.

robots.txt es una preferencia, no un límite de seguridad

Hay otra distinción que las marcas deben comprender.

Un archivo robots.txt le dice a un rastreador lo que un propietario del sitio quiere que haga. No, por sí mismo, impide técnicamente el acceso. La propia documentación de Cloudflare es explícita en cuanto a que el cumplimiento de robots.txt es voluntario.

Cloudflare puede agregar una capa de aplicación porque se encuentra frente al sitio web. Su producto AI Crawl Control puede identificar el tráfico de rastreadores y permitirlo, bloquearlo o gestionarlo de acuerdo con la configuración del sitio. Cloudflare documenta la diferencia entre las preferencias de robots.txt y los controles de rastreo aplicados aquí.

Para los equipos que revisan su estrategia de rastreo de IA, esto significa que hay dos preguntas que hacer: ¿qué preferencia publica el sitio web y qué acceso se está aplicando realmente?

El acceso de los rastreadores no es lo mismo que la visibilidad de la IA

Aquí es donde la conversación se vuelve particularmente relevante para las marcas que miden la búsqueda de IA.

Permitir que un rastreador acceda a su sitio web no garantiza que ChatGPT, Gemini, Perplexity, Claude u otro motor de respuestas mencionen, recomienden o citen su marca. La rastreabilidad es infraestructura. La visibilidad es un resultado.

Del mismo modo, bloquear un rastreador de entrenamiento en particular no significa necesariamente que una marca desaparezca de las respuestas generadas por IA. Un motor aún puede encontrar información a través de un índice de búsqueda, recuperar una página utilizando un rastreador separado, citar una fuente de terceros o basarse en información adquirida a través de otros canales permitidos.

Una forma útil de pensar en la secuencia es:

Accesible -> detectable -> recuperable -> citado -> recomendado.

Los controles de rastreo influyen en las primeras etapas. No determinan la respuesta final.

Es por eso que la configuración técnica de rastreadores debe considerarse junto con el seguimiento de la visibilidad de la IA, el análisis de citas y la influencia de la fuente. La pregunta práctica para un equipo de marketing no es simplemente si un bot de IA puede llegar al sitio. Es si la marca realmente aparece cuando los clientes potenciales hacen preguntas relevantes.

Qué deben verificar ahora las marcas que usan Cloudflare

• Revise las nuevas configuraciones de Búsqueda, Entrenamiento y Agente. No asuma que la antigua configuración de Bloquear Bots de IA se ajusta a la política que su organización desea hoy.
• Decida cada comportamiento por separado. La detectabilidad en búsquedas, el entrenamiento de IA y el acceso de agentes tienen diferentes implicaciones comerciales.
• Use Deshabilitar Entrenamiento de IA con cuidado si su objetivo es "búsqueda sí, entrenamiento no". Una configuración de Bloqueo completo puede afectar a rastreadores de uso mixto como Googlebot, Applebot y Bingbot.
• Revise tanto robots.txt como las reglas de rastreadores aplicadas. Una preferencia publicada y un bloqueo a nivel de red no son lo mismo.
• Verifique el resultado, no solo la configuración. Verifique que las páginas importantes sigan siendo accesibles y luego monitoree si su marca sigue siendo mencionada y citada en las respuestas de IA que son importantes para sus clientes.

Citations.io también tiene un comprobador de rastreadores de IA gratuito que puede ayudar a los equipos a inspeccionar cómo un sitio maneja actualmente los agentes de usuario de rastreadores de IA comunes.

Qué significa esto para la estrategia de AEO y búsqueda de IA

Las bases técnicas de la visibilidad en búsquedas son cada vez más granulares.

Los equipos de SEO tradicionales están acostumbrados a pensar en Googlebot, la indexabilidad y robots.txt. La búsqueda de IA añade nuevas capas: rastreadores de entrenamiento, rastreadores de recuperación, agentes activados por el usuario y comportamiento de citación a nivel de fuente.

El resultado no es que toda marca deba simplemente permitir todo rastreador. El mejor enfoque es tomar una decisión intencionada sobre cada caso de uso y luego medir las consecuencias.

Para las organizaciones que trabajan en la optimización de motores de respuesta o la optimización de motores generativos, la política de rastreo ahora debe ir de la mano con la calidad del contenido, la accesibilidad técnica, los datos estructurados, la autoridad de terceros y la estrategia de citación.

Una política de rastreo perfectamente configurada no puede hacer que un motor de respuestas recomiende una marca. Pero una política accidentalmente restrictiva puede eliminar una ruta importante a través de la cual se descubre o recupera el contenido.

El cambio más grande: control y visibilidad se están separando

La actualización de Cloudflare refleja un cambio más amplio en cómo la web interactúa con los sistemas de IA.

Los propietarios de sitios web necesitan cada vez más controles que distingan entre ser encontrado, ser usado y que se actúe sobre su contenido. La búsqueda, el entrenamiento y los agentes representan tres relaciones diferentes entre un sitio web y un sistema automatizado.

Para las marcas, la oportunidad estratégica es dejar de tratar el "acceso a la IA" como una única decisión de encendido/apagado.

Decida dónde el descubrimiento crea valor. Decida dónde el entrenamiento es aceptable. Decida cómo deben interactuar los agentes con sus páginas. Luego, mida lo que realmente sucede en las respuestas generadas.

Citations.io rastrea cómo ChatGPT, Gemini, Perplexity y Claude mencionan, clasifican y citan marcas en las respuestas generadas por IA. La configuración del rastreador es una parte de esa imagen. El resultado es si su marca es visible cuando importa.

Nota de la fuente: Este artículo se basa en el anuncio del 15 de septiembre de 2026 de Cloudflare, su documentación sobre la política de rastreadores de IA y su documentación de AI Crawl Control. Las políticas de rastreo y el soporte del operador pueden cambiar, por lo que los equipos técnicos deben verificar la documentación actual antes de realizar cambios en producción.