Googlebotは、Google検索の索引（インデックス）を作る基本のクローラーです。AI Overviews（AI概要）やAI Modeの要約も、専用の別クローラーではなくGooglebotが集めたインデックスを材料にします。よく混同されるGoogle-Extendedは、Gemini学習などへの利用可否を制御するためのトークンで、固有のユーザーエージェントを持たず、実際の取得はGooglebotなど既存エージェントが担います。この項では、GooglebotとAIクローラーの位置づけの差を正確に整理します。
Googlebotとは、Google検索が使う2種類のクローラーの総称です。中身はGooglebot Smartphone（モバイル端末の利用者を模した巡回）とGooglebot Desktop（PC利用者を模した巡回）に分かれます。この2つはHTTPのユーザーエージェント（＝リクエスト時にソフトが自己申告する名前）で見分けられますが、robots.txt（＝クローラーへのアクセス許可・拒否を書くファイル）では同じ「Googlebot」というトークンに従うため、robots.txtだけでスマホ版とPC版を選り分けて止めることはできません。
現在の多くのサイトでは、Google検索は主にモバイル版のページを索引します（モバイルファーストインデックス）。そのため、Googlebotのクロールリクエストの大半はモバイル版で行われ、ごく一部がデスクトップ版になります。Googlebotのユーザーエージェント文字列には、末尾に「Googlebot/2.1; +http://www.google.com/bot.html」といった目印が含まれ、サーバーログ（＝サーバーが全アクセスを1行ずつ記録するファイル）でこれを見れば、Googlebotの訪問を判別できます。モバイル版が索引の基準になるため、スマートフォンで見たときにも本文が省略されず正しく表示されることが、AI機能の材料に載る前提として重要になります。
GooglebotがAI検索で重要なのは、Googleの生成AI機能の「材料の入口」がここだからです。AI Overviewsの要約も、AI Modeの対話応答も、ゼロから自社サイトを取りに来る専用クローラーがいるわけではありません。Googlebotが日々クロールしてインデックスに載せたページの中から、要約や応答の根拠が選ばれます。つまり「AI Overviewsに引用されたい」「AI Modeで引用されたい」と考えるなら、その大前提は、Googlebotに正しくクロール・インデックスされていることです。
この点は、専用クローラーを持つ他社のAIクローラーと対照的です。OpenAIのGPTBot（ジーピーティーボット）やAnthropicのClaudeBot（クロードボット）、PerplexityのPerplexityBotは、それぞれ固有のユーザーエージェントを名乗り、サーバーログにその名前が明確に現れます。だからこそ、AIクローラーごとの訪問はサーバーログで一つずつ数えられます。一方Googleは、AI機能のためだけの取得を独立した固有名のクローラーで行うのではなく、Googlebotが集めた検索インデックスをAI機能でも使い回す設計になっています。ここが「Googlebot＝検索とAIの共通の入口」という位置づけの核心です。
この設計の違いは、観測の実務に直接響きます。他社AIへの露出を測りたいなら、サーバーログでGPTBotやClaudeBotの訪問件数・対象ページを数えれば、「AIに読まれているか」をボット単位で追えます。ところがGoogleのAI機能への露出は、この方法では切り出せません。ログに現れるのはGooglebotであり、その取得のうちどれが検索順位に、どれがAI Overviewsに使われたかは、ログの行だけからは分離できないからです。したがってGoogleのAI機能に関しては、ログでのボット計測ではなく、実際にAI Overviews／AI Modeを表示させて引用元を目視する、という別の観測手段が必要になります。ボット計測と表示観測を使い分けることが、Google系AI検索の実態把握では欠かせません。
この経路差は、施策の優先順位づけにも効いてきます。他社AIクローラーは、robots.txtでそのクローラーごとに許可・拒否を個別指定でき、ログでの反応も直接確認できるため、「どのAIに読ませ、どのAIに読ませないか」を細かく設計できます。対してGoogle系では、AI機能への露出を止めたいからといってGooglebotを拒否すると、検索インデックスそのものから外れて検索順位まで失います。AI機能だけを狙って切り離す個別スイッチは用意されていないのです。この非対称性を理解しておかないと、他社AI向けの発想をそのままGoogleに持ち込み、検索露出を巻き添えで失う事故を招きます。Google系は「検索とAIが同じ入口を共有する」前提で施策を組むのが正解です。
混同を避けるために最重要なのがGoogle-Extendedです。Google-Extendedは、GoogleがクロールしたコンテンツをGemini（＝Googleの生成AIモデル）の将来世代の学習や、プロンプト時にGoogle検索インデックスの内容をモデルへ与えるグラウンディング（＝根拠付与）に使ってよいかを、サイト運営者が管理するための独立したトークンです。ここで決定的なのは、Google-Extendedが「固有のユーザーエージェント文字列を持たない」ことです。Googleの公式説明でも、クロールは既存のGoogleユーザーエージェントで行われ、Google-Extendedというトークンはrobots.txt上の「制御用」として使われる、と明記されています。
Googlebotと主要AIクローラー／制御トークンの違い| 名前 | 種別 | 固有UAの有無 | サーバーログでの見え方 |
|---|
| Googlebot | 検索インデックス用クローラー（実取得を行う） | あり（Googlebot/2.1 を含む） | ログに実訪問として現れる |
| Google-Extended | Gemini学習・グラウンディング利用可否の制御トークン | なし（実取得はGooglebot等が行う） | 独立した訪問としては現れない |
| GPTBot | OpenAIのAIクローラー | あり（GPTBot） | ログに固有名で現れる |
| ClaudeBot | AnthropicのAIクローラー | あり（ClaudeBot） | ログに固有名で現れる |
横にスクロールできます
この表が示す通り、Google-Extendedは「取りに来る主体」ではなく「使ってよいかのスイッチ」です。robots.txtで「user-agent: Google-Extended」に対してdisallow（拒否）を書くと、Googleが集めたコンテンツをGeminiの学習などに使うことを拒めます。ただし、これはあくまで利用可否の制御であって、ページの取得そのものはGooglebotなど既存エージェントが行います。したがって、サーバーログでGoogle-Extendedという名前の訪問を探しても見つかりません。見つかるのはGooglebotであり、その取得結果がAI機能や学習に回るかどうかをGoogle-Extendedトークンで制御する、という二段構えなのです。
なぜGoogleがこうした「実取得はGooglebot、利用可否は別トークン」という設計を採ったのかを理解しておくと、混乱が解けます。もしGeminiの学習用に固有のクローラーを別途走らせれば、サイトは同じ内容を検索用とAI用で二重に取得され、サーバーへの負荷が増えます。Googleは、すでにGooglebotが集めているインデックスを再利用し、その利用範囲だけをGoogle-Extendedという制御トークンで切り分ける方式を選びました。これにより、サイト運営者は「検索には載せたいがAI学習には使わせたくない」という細かな意思を、クロールを止めずに表明できます。取得と利用可否を分離したことは、運営者に選択肢を与える合理的な設計だといえます。この二段構えを知らないと、Google-Extendedをブロックすれば検索からも消えると誤解しがちですが、実際にはクロールと検索掲載は保ったまま学習利用だけを断てるのです。
よくある誤解を整理します。第一に、「Google-ExtendedはAI用のクローラーだ」というのは不正確です。Google-Extendedはクローラー（取得主体）ではなく制御トークンで、固有UAを持ちません。第二に、「AI Overviewsに出したくないからGoogle-Extendedをブロックする」も誤りです。Google-Extendedが左右するのはGeminiの学習・グラウンディングであり、AI Overviewsの表示制御ではありません。第三に、Googlebotを装う偽ボット（＝ユーザーエージェント名だけGooglebotを名乗る不正アクセス）が存在するため、名前だけで本物と断定せず、必要ならGoogleが公表する検証手段（IPの逆引き確認など）で裏取りするのが安全です。
- robots.txtやnoindexで、意図せずGooglebotをブロックしていないかを最初に確認する（ブロックすれば検索もAI機能も材料から外れる）
- サーバーログでGooglebotの訪問（Googlebot/2.1 を含むUA）を確認し、主要ページが実際にクロールされているかを把握する
- Google-ExtendedのブロックはGemini学習・グラウンディングへの利用可否の判断として、検索露出とは切り離して意思決定する
- Googlebotを名乗るアクセスは偽装の可能性を念頭に置き、重要な判断時はGoogle公式の検証手段で本物か確かめる
- GooglebotとAIクローラー（GPTBot等）をログ上で区別し、Google系はインデックス経由、他社系は固有クローラー経由という経路差を理解して施策を立てる
- Google系AI機能への露出はログのボット計測では切り出せないため、実際にAI Overviews／AI Modeを表示させて引用元を目視する表示観測を併用する
Google-ExtendedはAI用のクローラーですか。
いいえ。Google-Extendedは固有のユーザーエージェントを持たない制御用トークンで、実際のページ取得はGooglebotなど既存のGoogleエージェントが行います。役割は、集めたコンテンツをGeminiの学習やグラウンディングに使ってよいかを管理することです。
AI Overviewsに出したくない場合、Google-Extendedをブロックすればよいですか。
それでは狙った制御になりません。Google-Extendedが左右するのはGeminiの学習・グラウンディングへの利用可否で、AI Overviewsの表示制御ではありません。Googlebot自体をブロックすると検索インデックスから外れ、AI機能の材料にもならなくなる点にも注意が必要です。
サーバーログでGoogle-Extendedの訪問は見つかりますか。
見つかりません。Google-Extendedは固有UAを持たないため、独立した訪問としてログに現れません。ログに現れるのはGooglebotなどで、その取得がAI機能や学習に回るかをGoogle-Extendedトークンで制御する二段構えです。
GooglebotとGPTBotの違いは何ですか。
GooglebotはGoogle検索のインデックスを作る基本クローラーで、その成果がAI Overviews／AI Modeにも使われます。GPTBotはOpenAIのAIクローラーで固有UAを持ち、ログに固有名で現れます。Google系はインデックス経由でAIに回るのに対し、他社AIクローラーは固有クローラーが直接取得する、という経路の違いがあります。
Google-Extendedを許可すると、専用のクローラーが新たに巡回に来ますか。
来ません。Google-Extendedは固有のユーザーエージェントを持たない制御トークンなので、それ自体が独立して取得に来ることはありません。実際のページ取得は従来どおりGooglebotなど既存のGoogleエージェントが行い、Google-Extendedはその取得結果をGeminiの学習・グラウンディングに使ってよいかを切り替えるスイッチとして働きます。
