ИИ-краулер (AI Crawler)
ИИ-краулер — это автоматическая программа ИИ-компании, которая загружает веб-страницы: либо чтобы собрать данные для обучения модели, либо чтобы получить контент при ответе на вопрос пользователя.
Почему это важно
Если ИИ-краулер не может прочитать страницу, соответствующий продукт не сможет её ни процитировать, ни указать как источник. Многие сайты блокируют таких ботов случайно — правилом файрвола или общей записью в robots.txt, — а потом недоумевают, почему их нет в ответах ИИ.
Основные краулеры
| User-agent | Оператор | Назначение |
|---|---|---|
| GPTBot | OpenAI | Собирает контент, который может использоваться для обучения моделей |
| OAI-SearchBot | OpenAI | Индексирует страницы для результатов поиска в ChatGPT |
| ChatGPT-User | OpenAI | Загружает страницу, когда этого требует запрос пользователя |
| ClaudeBot | Anthropic | Собирает контент для Claude |
| PerplexityBot | Perplexity | Индексирует страницы для ответов Perplexity |
| Google-Extended | Токен в robots.txt, который управляет использованием контента для Gemini; отдельным ботом не является | |
| Bytespider | ByteDance | Собирает контент для продуктов ByteDance, включая Doubao |
Операторы со временем добавляют и переименовывают краулеры. Актуальный список смотрите в документации каждого поставщика.
Как управлять доступом
Правила задаются в robots.txt отдельно для каждого user-agent. Пример: User-agent: GPTBot и следом Allow: / разрешают краулеру весь сайт; Disallow: / его блокирует. Для краулеров обучения и краулеров поиска можно задать разные правила, так что сайт может отказаться от использования в обучении и при этом остаться доступным для ответов в реальном времени. Составить такие правила поможет генератор robots.txt.
Типичные ошибки
- Блокировать всех незнакомых ботов на уровне файрвола или CDN: такая блокировка действует независимо от robots.txt.
- Разрешить краулеры, но отдавать контент только через клиентский JavaScript, который многие из них не выполняют.
- Считать robots.txt средством принудительного запрета. Это просьба: добросовестные краулеры её соблюдают, остальные могут и не соблюдать.
- Заблокировать краулеры обучения и ожидать, что это никак не скажется на видимости в продуктах того же поставщика.
Часто задаваемые вопросы
- Стоит ли разрешать ИИ-краулеры?
- Если вы хотите появляться в ответах ИИ, доступ нужен краулерам поиска и краулерам, которые работают по запросу пользователя. Разрешать ли краулеры обучения — деловое решение о том, как может использоваться ваш контент.
- Как узнать, какие ИИ-краулеры заходят на мой сайт?
- Поищите их строки user-agent в журналах сервера или CDN. Регулярные заходы краулера подтверждают, что он может получить ваши страницы.
Узнайте, как ИИ-движки описывают ваш бренд
Пройдите бесплатный аудит по основным ИИ-моделям и получите свой GEO Score.
Получить бесплатный отчёт