AIクローラー(AI Crawler)
AIクローラーとは、AI企業が運用する自動プログラムで、モデルの学習データを集めるため、またはユーザーの質問に答える際にコンテンツを取得するために、ウェブページを取得します。
なぜ重要なのか
AIクローラーがページを読めなければ、対応するAI製品はそのページを引用することも、情報源として示すこともできません。ファイアウォールのルールやrobots.txtの一括指定によって、意図せずこうしたボットをブロックしているサイトは多く、そのうえでAIの回答に自社が出てこない理由が分からずにいることがあります。
主なクローラー
| ユーザーエージェント | 運営元 | 目的 |
|---|---|---|
| GPTBot | OpenAI | モデルの学習に使われる可能性のあるコンテンツを収集する |
| OAI-SearchBot | OpenAI | ChatGPTの検索結果のためにページをインデックスする |
| ChatGPT-User | OpenAI | ユーザーのリクエストで必要になったときにページを取得する |
| ClaudeBot | Anthropic | Claudeのためにコンテンツを収集する |
| PerplexityBot | Perplexity | Perplexityの回答のためにページをインデックスする |
| Google-Extended | Geminiでのコンテンツ利用を制御するrobots.txtのトークン。独立したボットではない | |
| Bytespider | ByteDance | Doubaoを含むByteDance製品のためにコンテンツを収集する |
運営元は、クローラーを追加したり名称を変えたりすることがあります。最新の一覧は各事業者のドキュメントで確認してください。
アクセスを制御する方法
ルールはrobots.txtに、ユーザーエージェントごとに記述します。例:User-agent: GPTBotに続けてAllow: /と書くと、そのクローラーにサイト全体を許可します。Disallow: /と書くとブロックします。学習用と検索用のクローラーは別々に扱えるため、学習への利用は断りつつ、リアルタイムの回答には使える状態にしておくこともできます。こうしたルールはrobots.txtジェネレーターで作成できます。
よくある間違い
- 見慣れないボットをすべてファイアウォールやCDNでブロックすること。この設定はrobots.txtより優先されます。
- クローラーを許可していながら、コンテンツをクライアント側のJavaScriptだけで表示すること。多くのクローラーはJavaScriptを実行しません。
- robots.txtに強制力があると思い込むこと。あくまで依頼であり、行儀のよいクローラーは従いますが、従わないものもあります。
- 学習用クローラーをブロックしておいて、同じ事業者の製品での可視性には影響がないと期待すること。
よくある質問
- AIクローラーを許可すべきですか?
- AIの回答に出てきたいのであれば、検索用とユーザーリクエスト用のクローラーにはアクセスを許可する必要があります。学習用クローラーを許可するかどうかは、自社のコンテンツをどう使ってもらうかについての経営判断です。
- どのAIクローラーが自社サイトに来ているかは、どうすれば分かりますか?
- サーバーまたはCDNのログで、各クローラーのユーザーエージェント文字列を確認します。あるクローラーが定期的に訪れていれば、ページに到達できていることが分かります。