AI 크롤러 (AI Crawler)
AI 크롤러는 AI 기업이 운영하는 자동화 프로그램으로, 모델 학습 데이터를 수집하거나 사용자의 질문에 답할 때 콘텐츠를 검색해 오기 위해 웹 페이지를 가져갑니다.
왜 중요한가요?
AI 크롤러가 페이지를 읽지 못하면 해당 AI 제품은 그 페이지를 인용하거나 출처로 제시할 수 없습니다. 방화벽 규칙이나 robots.txt의 일괄 차단 항목 때문에 의도치 않게 이런 봇을 막아 놓고, 왜 AI 답변에 나오지 않는지 의아해하는 사이트가 많습니다.
주요 크롤러
| User agent | 운영사 | 용도 |
|---|---|---|
| GPTBot | OpenAI | 모델 학습에 쓰일 수 있는 콘텐츠를 수집합니다 |
| OAI-SearchBot | OpenAI | ChatGPT의 검색 결과에 쓸 페이지를 색인합니다 |
| ChatGPT-User | OpenAI | 사용자의 요청에 필요할 때 페이지를 가져옵니다 |
| ClaudeBot | Anthropic | Claude를 위한 콘텐츠를 수집합니다 |
| PerplexityBot | Perplexity | Perplexity 답변에 쓸 페이지를 색인합니다 |
| Google-Extended | Gemini에 콘텐츠를 사용할지 제어하는 robots.txt 토큰이며, 별도의 봇은 아닙니다 | |
| Bytespider | ByteDance | Doubao를 포함한 ByteDance 제품을 위한 콘텐츠를 수집합니다 |
운영사는 시간이 지나면서 크롤러를 추가하거나 이름을 바꿉니다. 최신 목록은 각 제공업체의 문서에서 확인하십시오.
접근을 어떻게 제어하나요?
규칙은 robots.txt에 user agent별로 작성합니다. 예시: User-agent: GPTBot 다음 줄에 Allow: /를 쓰면 해당 크롤러에 사이트 전체를 허용하고, Disallow: /를 쓰면 차단합니다. 학습용 크롤러와 검색용 크롤러는 다르게 설정할 수 있으므로, 학습에 쓰이는 것은 거절하면서 실시간 답변에는 계속 노출되도록 할 수 있습니다. robots.txt 생성기로 이런 규칙을 만들 수 있습니다.
흔한 실수
- 낯선 봇을 방화벽이나 CDN에서 모두 차단하는 것입니다. 이렇게 하면 robots.txt 설정보다 차단이 우선합니다.
- 크롤러는 허용해 놓고 콘텐츠를 클라이언트 측 JavaScript로만 제공하는 것입니다. 상당수 크롤러는 JavaScript를 실행하지 않습니다.
- robots.txt에 강제력이 있다고 생각하는 것입니다. robots.txt는 요청일 뿐이며, 규칙을 잘 지키는 크롤러는 따르지만 그렇지 않은 크롤러도 있습니다.
- 학습용 크롤러를 차단하면서 같은 제공업체 제품에서의 가시성에는 영향이 없으리라 기대하는 것입니다.
자주 묻는 질문
- AI 크롤러를 허용해야 하나요?
- AI 답변에 노출되기를 원한다면 검색용 크롤러와 사용자 요청용 크롤러에는 접근을 허용해야 합니다. 학습용 크롤러를 허용할지는 자사 콘텐츠가 어떻게 쓰여도 되는지에 관한 사업상의 판단입니다.
- 어떤 AI 크롤러가 우리 사이트를 방문하는지 어떻게 알 수 있나요?
- 서버 또는 CDN 로그에서 해당 user-agent 문자열을 확인하십시오. 크롤러가 정기적으로 방문하고 있다면 페이지에 접근할 수 있다는 뜻입니다.