Robots.txt 生成ツール
検索エンジンやAIボットによるWebサイトへのアクセスを管理するrobots.txtファイルを作成します。User-agentルール、クロール遅延、サイトマップ参照を設定可能。
ドメインに基づきサイトマップURLが自動入力されます
クイックテンプレート
カスタムルール
使い方
- Googlebot、GPTBot、Claude-WebなどのUser-agent（クローラーの種類）を選択します。
- 各クローラーに対してAllow（許可）またはDisallow（拒否）のパスルールを追加します。
- （任意）サイトマップURLとCrawl-delay設定を入力します。
- 「生成」をクリックし、出力をrobots.txtとして保存してWebサイトのルートディレクトリにアップロードします。
このツールを使う理由
Robots.txtは、検索エンジンやAIクローラーがWebサイトにアクセスする方法を制御するための重要なファイルです。適切に設定することで、機密ページのインデックス登録を防ぎつつ、重要なコンテンツが検索エンジンやAIモデルに確実に届くようになります。