XOOER GEO
Glosario de GEO

Rastreador de IA (AI Crawler)

Un rastreador de IA es un programa automatizado, operado por una empresa de IA, que obtiene páginas web, ya sea para reunir datos de entrenamiento de un modelo o para recuperar contenido al responder a la pregunta de un usuario.

Por qué importa

Si un rastreador de IA no puede leer una página, el producto correspondiente no puede citarla ni enlazarla. Muchos sitios bloquean estos bots por accidente, con una regla del cortafuegos o una entrada genérica en robots.txt, y después se preguntan por qué no aparecen en las respuestas de la IA.

Los principales rastreadores

User agentOperadorFinalidad
GPTBotOpenAIRecoge contenido que puede usarse para entrenar modelos
OAI-SearchBotOpenAIIndexa páginas para los resultados de búsqueda de ChatGPT
ChatGPT-UserOpenAIObtiene una página cuando la petición de un usuario lo requiere
ClaudeBotAnthropicRecoge contenido para Claude
PerplexityBotPerplexityIndexa páginas para las respuestas de Perplexity
Google-ExtendedGoogleUn token de robots.txt que controla el uso del contenido para Gemini; no es un bot independiente
BytespiderByteDanceRecoge contenido para los productos de ByteDance, entre ellos Doubao

Los operadores añaden rastreadores y les cambian el nombre con el tiempo. La lista vigente está en la documentación de cada proveedor.

Cómo controlar el acceso

Las reglas se definen en robots.txt, por user agent. Ejemplo: User-agent: GPTBot seguido de Allow: / permite el rastreador en todo el sitio; Disallow: / lo bloquea. Los rastreadores de entrenamiento y los de búsqueda pueden tratarse de forma distinta, de modo que un sitio puede rechazar el uso para entrenamiento y seguir disponible para las respuestas en tiempo real. El generador de robots.txt crea estas reglas.

Errores habituales

  • Bloquear todos los bots desconocidos en el cortafuegos o en la CDN, lo que prevalece sobre robots.txt.
  • Permitir los rastreadores pero servir el contenido solo mediante JavaScript en el cliente, que muchos de ellos no ejecutan.
  • Dar por hecho que robots.txt impone algo. Es una petición; los rastreadores que se comportan bien la respetan, otros puede que no.
  • Bloquear los rastreadores de entrenamiento y esperar que eso no afecte a la visibilidad en los productos del mismo proveedor.

Preguntas frecuentes

¿Debería permitir los rastreadores de IA?
Si quiere aparecer en las respuestas de la IA, los rastreadores de búsqueda y los que actúan a petición del usuario necesitan acceso. Permitir o no los de entrenamiento es una decisión de negocio sobre cómo puede usarse su contenido.
¿Cómo sé qué rastreadores de IA visitan mi sitio?
Revise los registros del servidor o de la CDN y busque sus cadenas de user agent. Las visitas periódicas de un rastreador confirman que puede acceder a sus páginas.

Compruebe cómo describen su marca los motores de IA

Realice una auditoría gratuita en los principales modelos de IA y obtenga su GEO Score.

Obtener mi informe gratuito