XOOER GEO
Glossário de GEO

Crawler de IA (AI Crawler)

Um crawler de IA é um programa automatizado, operado por uma empresa de IA, que obtém páginas web, seja para recolher dados de treino para um modelo, seja para ir buscar conteúdo ao responder à pergunta de um utilizador.

Porque é importante

Se um crawler de IA não conseguir ler uma página, o produto correspondente não a pode citar nem referir como fonte. Muitos sites bloqueiam estes bots por acidente, através de uma regra de firewall ou de uma entrada genérica no robots.txt, e depois não percebem porque estão ausentes das respostas de IA.

Os principais crawlers

User agentOperadorFinalidade
GPTBotOpenAIRecolhe conteúdo que pode ser usado no treino de modelos
OAI-SearchBotOpenAIIndexa páginas para os resultados de pesquisa no ChatGPT
ChatGPT-UserOpenAIObtém uma página quando o pedido de um utilizador o exige
ClaudeBotAnthropicRecolhe conteúdo para o Claude
PerplexityBotPerplexityIndexa páginas para as respostas do Perplexity
Google-ExtendedGoogleUm token de robots.txt que controla o uso de conteúdo para o Gemini; não é um bot separado
BytespiderByteDanceRecolhe conteúdo para os produtos da ByteDance, incluindo o Doubao

Os operadores acrescentam crawlers e mudam-lhes o nome ao longo do tempo. Consulte a documentação de cada fornecedor para obter a lista atual.

Como controlar o acesso

As regras ficam no robots.txt, por user agent. Exemplo: User-agent: GPTBot seguido de Allow: / permite o crawler em todo o site; Disallow: / bloqueia-o. Os crawlers de treino e os de pesquisa podem ser tratados de forma diferente, pelo que um site pode recusar o uso para treino e continuar disponível para respostas em tempo real. O gerador de robots.txt cria estas regras.

Erros comuns

  • Bloquear todos os bots desconhecidos na firewall ou na CDN, o que se sobrepõe ao robots.txt.
  • Permitir os crawlers mas servir o conteúdo apenas através de JavaScript do lado do cliente, que muitos deles não executam.
  • Presumir que o robots.txt é um mecanismo de imposição. É um pedido; os crawlers bem-comportados respeitam-no, outros podem não o fazer.
  • Bloquear os crawlers de treino e esperar que isso não tenha efeito na visibilidade nos produtos do mesmo fornecedor.

Perguntas frequentes

Devo permitir os crawlers de IA?
Se quiser aparecer nas respostas de IA, os crawlers de pesquisa e os que atuam a pedido do utilizador precisam de acesso. Permitir ou não os crawlers de treino é uma decisão de negócio sobre a forma como o seu conteúdo pode ser usado.
Como sei que crawlers de IA visitam o meu site?
Procure as respetivas cadeias de user agent nos registos do servidor ou da CDN. As visitas regulares de um crawler confirmam que este consegue chegar às suas páginas.

Veja como os motores de IA descrevem a sua marca

Faça uma auditoria gratuita nos principais modelos de IA e obtenha o seu GEO Score.

Obter o meu relatório gratuito