XOOER GEO
Глоссарий GEO

ИИ-краулер (AI Crawler)

ИИ-краулер — это автоматическая программа ИИ-компании, которая загружает веб-страницы: либо чтобы собрать данные для обучения модели, либо чтобы получить контент при ответе на вопрос пользователя.

Почему это важно

Если ИИ-краулер не может прочитать страницу, соответствующий продукт не сможет её ни процитировать, ни указать как источник. Многие сайты блокируют таких ботов случайно — правилом файрвола или общей записью в robots.txt, — а потом недоумевают, почему их нет в ответах ИИ.

Основные краулеры

User-agentОператорНазначение
GPTBotOpenAIСобирает контент, который может использоваться для обучения моделей
OAI-SearchBotOpenAIИндексирует страницы для результатов поиска в ChatGPT
ChatGPT-UserOpenAIЗагружает страницу, когда этого требует запрос пользователя
ClaudeBotAnthropicСобирает контент для Claude
PerplexityBotPerplexityИндексирует страницы для ответов Perplexity
Google-ExtendedGoogleТокен в robots.txt, который управляет использованием контента для Gemini; отдельным ботом не является
BytespiderByteDanceСобирает контент для продуктов ByteDance, включая Doubao

Операторы со временем добавляют и переименовывают краулеры. Актуальный список смотрите в документации каждого поставщика.

Как управлять доступом

Правила задаются в robots.txt отдельно для каждого user-agent. Пример: User-agent: GPTBot и следом Allow: / разрешают краулеру весь сайт; Disallow: / его блокирует. Для краулеров обучения и краулеров поиска можно задать разные правила, так что сайт может отказаться от использования в обучении и при этом остаться доступным для ответов в реальном времени. Составить такие правила поможет генератор robots.txt.

Типичные ошибки

  • Блокировать всех незнакомых ботов на уровне файрвола или CDN: такая блокировка действует независимо от robots.txt.
  • Разрешить краулеры, но отдавать контент только через клиентский JavaScript, который многие из них не выполняют.
  • Считать robots.txt средством принудительного запрета. Это просьба: добросовестные краулеры её соблюдают, остальные могут и не соблюдать.
  • Заблокировать краулеры обучения и ожидать, что это никак не скажется на видимости в продуктах того же поставщика.

Часто задаваемые вопросы

Стоит ли разрешать ИИ-краулеры?
Если вы хотите появляться в ответах ИИ, доступ нужен краулерам поиска и краулерам, которые работают по запросу пользователя. Разрешать ли краулеры обучения — деловое решение о том, как может использоваться ваш контент.
Как узнать, какие ИИ-краулеры заходят на мой сайт?
Поищите их строки user-agent в журналах сервера или CDN. Регулярные заходы краулера подтверждают, что он может получить ваши страницы.

Узнайте, как ИИ-движки описывают ваш бренд

Пройдите бесплатный аудит по основным ИИ-моделям и получите свой GEO Score.

Получить бесплатный отчёт