XOOER GEO
GEO 용어집

AI 크롤러 (AI Crawler)

AI 크롤러는 AI 기업이 운영하는 자동화 프로그램으로, 모델 학습 데이터를 수집하거나 사용자의 질문에 답할 때 콘텐츠를 검색해 오기 위해 웹 페이지를 가져갑니다.

왜 중요한가요?

AI 크롤러가 페이지를 읽지 못하면 해당 AI 제품은 그 페이지를 인용하거나 출처로 제시할 수 없습니다. 방화벽 규칙이나 robots.txt의 일괄 차단 항목 때문에 의도치 않게 이런 봇을 막아 놓고, 왜 AI 답변에 나오지 않는지 의아해하는 사이트가 많습니다.

주요 크롤러

User agent운영사용도
GPTBotOpenAI모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다
OAI-SearchBotOpenAIChatGPT의 검색 결과에 쓸 페이지를 색인합니다
ChatGPT-UserOpenAI사용자의 요청에 필요할 때 페이지를 가져옵니다
ClaudeBotAnthropicClaude를 위한 콘텐츠를 수집합니다
PerplexityBotPerplexityPerplexity 답변에 쓸 페이지를 색인합니다
Google-ExtendedGoogleGemini에 콘텐츠를 사용할지 제어하는 robots.txt 토큰이며, 별도의 봇은 아닙니다
BytespiderByteDanceDoubao를 포함한 ByteDance 제품을 위한 콘텐츠를 수집합니다

운영사는 시간이 지나면서 크롤러를 추가하거나 이름을 바꿉니다. 최신 목록은 각 제공업체의 문서에서 확인하십시오.

접근을 어떻게 제어하나요?

규칙은 robots.txt에 user agent별로 작성합니다. 예시: User-agent: GPTBot 다음 줄에 Allow: /를 쓰면 해당 크롤러에 사이트 전체를 허용하고, Disallow: /를 쓰면 차단합니다. 학습용 크롤러와 검색용 크롤러는 다르게 설정할 수 있으므로, 학습에 쓰이는 것은 거절하면서 실시간 답변에는 계속 노출되도록 할 수 있습니다. robots.txt 생성기로 이런 규칙을 만들 수 있습니다.

흔한 실수

  • 낯선 봇을 방화벽이나 CDN에서 모두 차단하는 것입니다. 이렇게 하면 robots.txt 설정보다 차단이 우선합니다.
  • 크롤러는 허용해 놓고 콘텐츠를 클라이언트 측 JavaScript로만 제공하는 것입니다. 상당수 크롤러는 JavaScript를 실행하지 않습니다.
  • robots.txt에 강제력이 있다고 생각하는 것입니다. robots.txt는 요청일 뿐이며, 규칙을 잘 지키는 크롤러는 따르지만 그렇지 않은 크롤러도 있습니다.
  • 학습용 크롤러를 차단하면서 같은 제공업체 제품에서의 가시성에는 영향이 없으리라 기대하는 것입니다.

자주 묻는 질문

AI 크롤러를 허용해야 하나요?
AI 답변에 노출되기를 원한다면 검색용 크롤러와 사용자 요청용 크롤러에는 접근을 허용해야 합니다. 학습용 크롤러를 허용할지는 자사 콘텐츠가 어떻게 쓰여도 되는지에 관한 사업상의 판단입니다.
어떤 AI 크롤러가 우리 사이트를 방문하는지 어떻게 알 수 있나요?
서버 또는 CDN 로그에서 해당 user-agent 문자열을 확인하십시오. 크롤러가 정기적으로 방문하고 있다면 페이지에 접근할 수 있다는 뜻입니다.

AI 엔진이 귀사의 브랜드를 어떻게 설명하는지 확인해 보십시오

주요 AI 모델을 대상으로 무료 감사를 실행하고 GEO Score를 확인해 보십시오.

무료 리포트 받기