XOOER GEO
GEO用語集

AIクローラー(AI Crawler)

AIクローラーとは、AI企業が運用する自動プログラムで、モデルの学習データを集めるため、またはユーザーの質問に答える際にコンテンツを取得するために、ウェブページを取得します。

なぜ重要なのか

AIクローラーがページを読めなければ、対応するAI製品はそのページを引用することも、情報源として示すこともできません。ファイアウォールのルールやrobots.txtの一括指定によって、意図せずこうしたボットをブロックしているサイトは多く、そのうえでAIの回答に自社が出てこない理由が分からずにいることがあります。

主なクローラー

ユーザーエージェント運営元目的
GPTBotOpenAIモデルの学習に使われる可能性のあるコンテンツを収集する
OAI-SearchBotOpenAIChatGPTの検索結果のためにページをインデックスする
ChatGPT-UserOpenAIユーザーのリクエストで必要になったときにページを取得する
ClaudeBotAnthropicClaudeのためにコンテンツを収集する
PerplexityBotPerplexityPerplexityの回答のためにページをインデックスする
Google-ExtendedGoogleGeminiでのコンテンツ利用を制御するrobots.txtのトークン。独立したボットではない
BytespiderByteDanceDoubaoを含むByteDance製品のためにコンテンツを収集する

運営元は、クローラーを追加したり名称を変えたりすることがあります。最新の一覧は各事業者のドキュメントで確認してください。

アクセスを制御する方法

ルールはrobots.txtに、ユーザーエージェントごとに記述します。例:User-agent: GPTBotに続けてAllow: /と書くと、そのクローラーにサイト全体を許可します。Disallow: /と書くとブロックします。学習用と検索用のクローラーは別々に扱えるため、学習への利用は断りつつ、リアルタイムの回答には使える状態にしておくこともできます。こうしたルールはrobots.txtジェネレーターで作成できます。

よくある間違い

  • 見慣れないボットをすべてファイアウォールやCDNでブロックすること。この設定はrobots.txtより優先されます。
  • クローラーを許可していながら、コンテンツをクライアント側のJavaScriptだけで表示すること。多くのクローラーはJavaScriptを実行しません。
  • robots.txtに強制力があると思い込むこと。あくまで依頼であり、行儀のよいクローラーは従いますが、従わないものもあります。
  • 学習用クローラーをブロックしておいて、同じ事業者の製品での可視性には影響がないと期待すること。

よくある質問

AIクローラーを許可すべきですか?
AIの回答に出てきたいのであれば、検索用とユーザーリクエスト用のクローラーにはアクセスを許可する必要があります。学習用クローラーを許可するかどうかは、自社のコンテンツをどう使ってもらうかについての経営判断です。
どのAIクローラーが自社サイトに来ているかは、どうすれば分かりますか?
サーバーまたはCDNのログで、各クローラーのユーザーエージェント文字列を確認します。あるクローラーが定期的に訪れていれば、ページに到達できていることが分かります。

AIエンジンが自社ブランドをどう説明しているかを確認する

主要なAIモデルを対象にした無料監査を実行して、GEO Scoreを確認できます。

無料レポートを受け取る