Генератор Robots.txt
Создайте файл robots.txt для управления доступом поисковых систем и ботов ИИ к вашему сайту. Настройте правила user-agent, задержку обхода (crawl-delay) и ссылки на sitemap.
URL карты сайта (sitemap) заполнится автоматически на основе домена
Быстрые шаблоны
Свои правила
Как использовать
- Выберите User-agent (тип краулера), например Googlebot, GPTBot, Claude-Web и т. д.
- Добавьте правила Allow или Disallow для путей каждого краулера.
- (Опционально) Укажите URL вашего Sitemap и параметры Crawl-delay.
- Нажмите «Сгенерировать», сохраните результат как robots.txt и загрузите его в корневую директорию сайта.
Зачем нужен этот инструмент?
Robots.txt — ключевой файл для контроля доступа поисковых систем и краулеров ИИ к вашему сайту. Правильная настройка предотвращает индексацию конфиденциальных страниц, сохраняя видимость важного контента для поисковых систем и моделей ИИ.