XOOER GEO
Robots.txt-generatorStyr åtkomsten för sökmotorer och AI-sökrobotar till din webbplatsAllowDisallowSEOrobots.txtUser-agent:*Allow:/public/Disallow:/admin/Disallow:/private/Sitemap:https://example.com/sitemap.xmlSCANNING# robots.txt configuration

Robots.txt-generator

Skapa en robots.txt-fil för att hantera sökmotorers och AI-botars åtkomst till din webbplats. Konfigurera user-agent-regler, genomsökningsfördröjning och sitemap-referenser.

Sitemap-URL fylls i automatiskt baserat på din domän

Snabbmallar

Anpassade regler

Så här gör du

  1. Välj en User-agent (typ av sökrobot), till exempel Googlebot, GPTBot, Claude-Web etc.
  2. Lägg till Allow- eller Disallow-sökvägsregler för varje sökrobot.
  3. (Valfritt) Ange din Sitemap-URL och inställningar för Crawl-delay.
  4. Klicka på "Generera", spara resultatet som robots.txt och ladda upp det till webbplatsens rotkatalog.

Varför använda detta verktyg?

Robots.txt är den centrala filen för att styra hur sökmotorer och AI-sökrobotar får åtkomst till din webbplats. Korrekt konfigurering förhindrar att känsliga sidor indexeras samtidigt som viktigt innehåll förblir synligt för sökmotorer och AI-modeller.