Gerador de Robots.txt
Crie um ficheiro robots.txt para gerir o acesso de motores de busca e bots de IA ao seu site. Configure regras de user-agent, atrasos de rastreio e referências a sitemaps.
O URL do Sitemap será preenchido automaticamente com base no seu domínio
Modelos Rápidos
Regras Personalizadas
Como Utilizar
- Selecione um User-agent (tipo de rastreador), como Googlebot, GPTBot, Claude-Web, etc.
- Adicione regras de caminhos Permitir (Allow) ou Bloquear (Disallow) para cada rastreador.
- (Opcional) Introduza o URL do seu Sitemap e as configurações de atraso de rastreio (Crawl-delay).
- Clique em 'Gerar', guarde o resultado como robots.txt e envie-o para a pasta raiz do seu site.
Porquê Utilizar Esta Ferramenta?
O Robots.txt é o ficheiro essencial para controlar como os motores de busca e rastreadores de IA acedem ao seu site. A configuração adequada impede que páginas confidenciais sejam indexadas, garantindo que o conteúdo importante permanece visível para motores de busca e modelos de IA.