Crawler de IA (AI Crawler)
Um crawler de IA é um programa automatizado, operado por uma empresa de IA, que obtém páginas web, seja para recolher dados de treino para um modelo, seja para ir buscar conteúdo ao responder à pergunta de um utilizador.
Porque é importante
Se um crawler de IA não conseguir ler uma página, o produto correspondente não a pode citar nem referir como fonte. Muitos sites bloqueiam estes bots por acidente, através de uma regra de firewall ou de uma entrada genérica no robots.txt, e depois não percebem porque estão ausentes das respostas de IA.
Os principais crawlers
| User agent | Operador | Finalidade |
|---|---|---|
| GPTBot | OpenAI | Recolhe conteúdo que pode ser usado no treino de modelos |
| OAI-SearchBot | OpenAI | Indexa páginas para os resultados de pesquisa no ChatGPT |
| ChatGPT-User | OpenAI | Obtém uma página quando o pedido de um utilizador o exige |
| ClaudeBot | Anthropic | Recolhe conteúdo para o Claude |
| PerplexityBot | Perplexity | Indexa páginas para as respostas do Perplexity |
| Google-Extended | Um token de robots.txt que controla o uso de conteúdo para o Gemini; não é um bot separado | |
| Bytespider | ByteDance | Recolhe conteúdo para os produtos da ByteDance, incluindo o Doubao |
Os operadores acrescentam crawlers e mudam-lhes o nome ao longo do tempo. Consulte a documentação de cada fornecedor para obter a lista atual.
Como controlar o acesso
As regras ficam no robots.txt, por user agent. Exemplo: User-agent: GPTBot seguido de Allow: / permite o crawler em todo o site; Disallow: / bloqueia-o. Os crawlers de treino e os de pesquisa podem ser tratados de forma diferente, pelo que um site pode recusar o uso para treino e continuar disponível para respostas em tempo real. O gerador de robots.txt cria estas regras.
Erros comuns
- Bloquear todos os bots desconhecidos na firewall ou na CDN, o que se sobrepõe ao robots.txt.
- Permitir os crawlers mas servir o conteúdo apenas através de JavaScript do lado do cliente, que muitos deles não executam.
- Presumir que o robots.txt é um mecanismo de imposição. É um pedido; os crawlers bem-comportados respeitam-no, outros podem não o fazer.
- Bloquear os crawlers de treino e esperar que isso não tenha efeito na visibilidade nos produtos do mesmo fornecedor.
Perguntas frequentes
- Devo permitir os crawlers de IA?
- Se quiser aparecer nas respostas de IA, os crawlers de pesquisa e os que atuam a pedido do utilizador precisam de acesso. Permitir ou não os crawlers de treino é uma decisão de negócio sobre a forma como o seu conteúdo pode ser usado.
- Como sei que crawlers de IA visitam o meu site?
- Procure as respetivas cadeias de user agent nos registos do servidor ou da CDN. As visitas regulares de um crawler confirmam que este consegue chegar às suas páginas.
Veja como os motores de IA descrevem a sua marca
Faça uma auditoria gratuita nos principais modelos de IA e obtenha o seu GEO Score.
Obter o meu relatório gratuito