XOOER GEO
GEO-ordlista

AI-crawler (AI Crawler)

En AI-crawler är ett automatiserat program som drivs av ett AI-företag och hämtar webbsidor, antingen för att samla in träningsdata till en modell eller för att hämta innehåll när en användares fråga ska besvaras.

Varför det spelar roll

Om en AI-crawler inte kan läsa en sida kan motsvarande produkt varken återge eller citera den. Många webbplatser blockerar de här botarna av misstag, genom en brandväggsregel eller en generell rad i robots.txt, och undrar sedan varför de saknas i AI-svaren.

De viktigaste crawlerna

User agentOperatörSyfte
GPTBotOpenAISamlar in innehåll som kan användas för modellträning
OAI-SearchBotOpenAIIndexerar sidor för sökresultat i ChatGPT
ChatGPT-UserOpenAIHämtar en sida när en användares förfrågan kräver det
ClaudeBotAnthropicSamlar in innehåll för Claude
PerplexityBotPerplexityIndexerar sidor för svar i Perplexity
Google-ExtendedGoogleEn robots.txt-token som styr om innehåll får användas för Gemini; ingen egen bot
BytespiderByteDanceSamlar in innehåll för ByteDance-produkter, däribland Doubao

Operatörerna lägger till och byter namn på crawlers med tiden. Kontrollera den aktuella listan i respektive leverantörs dokumentation.

Så styr du åtkomsten

Reglerna skrivs i robots.txt, per user agent. Exempel: User-agent: GPTBot följt av Allow: / släpper in crawlern på hela webbplatsen; Disallow: / blockerar den. Crawlers för träning och för sök kan behandlas olika, så en webbplats kan säga nej till träning och ändå vara tillgänglig för svar i realtid. robots.txt-generatorn skapar de här reglerna.

Vanliga misstag

  • Att blockera alla okända botar i brandväggen eller CDN:et, vilket går före robots.txt.
  • Att tillåta crawlers men bara leverera innehållet via JavaScript på klientsidan, som många av dem inte kör.
  • Att tro att robots.txt är en spärr. Det är en begäran; välskötta crawlers följer den, andra gör det kanske inte.
  • Att blockera träningscrawlers och räkna med att synligheten i samma leverantörs produkter inte påverkas.

Vanliga frågor

Bör jag tillåta AI-crawlers?
Om du vill synas i AI-svar behöver crawlers för sök och för användarförfrågningar ha åtkomst. Om träningscrawlers ska tillåtas är ett affärsbeslut om hur ditt innehåll får användas.
Hur vet jag vilka AI-crawlers som besöker min webbplats?
Sök efter deras user agent-strängar i server- eller CDN-loggarna. Regelbundna besök från en crawler bekräftar att den kan nå dina sidor.

Se hur AI-motorer beskriver ditt varumärke

Gör en kostnadsfri granskning i de stora AI-modellerna och få din GEO Score.

Hämta min kostnadsfria rapport