本文へスキップ

GLOSSARY

Google-Extended

Googleが、AI用途(Gemini/Vertex AIの学習や、Google検索のAI機能のグラウンディング)に自サイトを使ってよいかを制御するトークン。固有のクローラー(独自User-Agent)を持たず、実際の取得はGooglebotが行う「制御トークン」である点が最重要。

ぐーぐるえくすてんでっど11分で読めます

Google-Extendedとは何か

Google-Extendedは、GoogleのAI用途に自サイトのコンテンツを使ってよいかを制御するための「トークン(=robots.txtで用途の可否を表明するための名前)」です。対象になるAI用途は主に2つあります。ひとつはGemini(ジェミニ=Googleの生成AI)やVertex AI(バーテックスエーアイ=Googleのクラウド向けAI基盤)の将来世代のモデルの学習、もうひとつはグラウンディング(=AIが回答を生成するとき、Google検索の索引から根拠となる本文をその場でモデルに渡して回答の正確さを高める仕組み)です。Google-Extendedを拒否すると、これらAI用途への自サイトコンテンツの使用を止められます。

この「制御トークンであって、独自クローラーではない」という性質は、GPTBotやOAI-SearchBotのような、固有のUA文字列を持って実際に巡回してくるボットとの決定的な違いです。GPTBotは「GPTBot」というUAで実際にアクセスしに来ますが、Google-Extendedは名乗ってアクセスしに来る主体ではありません。あくまでGooglebotが取得したコンテンツを「AI用途に使ってよいか」の判断に使う制御ラベルです。したがって、アクセスログを「Google-Extended」で検索しても、その名前のUAは基本的に見つかりません。ログに現れるのはGooglebotであり、Google-Extendedは制御の層でだけ効きます。

なぜ重要か(AI検索での位置づけ)

AI検索最適化(AIO/GEO=生成AIに引用・参照されやすくする対策)でGoogle-Extendedが重要なのは、「AI用途への提供」と「通常のGoogle検索での露出(SEO)」を切り分けて意思表示できる、数少ない公式の仕組みだからです。従来、AIに自社コンテンツを使わせたくないと考えても、Google検索から外れる(=検索流入を失う)ことを恐れて何もできない、というジレンマがありました。Google-Extendedはこのジレンマを解きます。Google-Extendedを拒否しても通常のGoogle検索インデックスには影響せず、検索順位を保ったままAI用途だけを止められるからです。

逆に、AI機能に積極的に取り上げられたい事業者にとっては、Google-Extendedを許可(デフォルトは許可の状態)しておくことが、Google検索のAI機能(AI Overviews=検索結果の上部にAIが要約回答を出す機能など)でのグラウンディング対象になる前提になります。Google-Extendedの可否は、AI OverviewsのようなAI機能で自社が根拠として使われる入口に関わるため、AI検索時代の露出戦略で無視できない設定項目です。

仕組み(制御トークンとrobots.txt)

Google-Extendedの制御は、robots.txtにトークン名を指定して可否を書く形です。AI用途への使用をサイト全体で拒否したいなら、robots.txtに次のように書きます。「User-agent: Google-Extended」「Disallow: /」。特定のパスだけ許可・拒否したい場合は、通常のrobots.txt記法と同じく allow / disallow を組み合わせます。繰り返しになりますが、ここで指定しているのは「Google-Extendedという名のボットの巡回可否」ではなく「Googlebotが取得したコンテンツをAI用途に使ってよいかの可否」です。

Google-Extendedは独自UAを持たない制御トークン。実際の取得はGooglebotが行い、Google-ExtendedはAI用途の可否だけを表明します。
項目Google-Extended固有UAを持つ通常クローラー(例:Googlebot)
独自User-Agent持たない(制御トークン)持つ(実際に名乗ってアクセスする)
実際の取得主体Googlebot等の既存UAが取得自分自身
robots.txtでの役割AI用途への使用可否の表明(制御)巡回可否の制御
通常のGoogle検索への影響影響しない(SEOは別)Disallowするとインデックスに影響し得る

横にスクロールできます

もうひとつ押さえるべきは、Google-Extendedは「単独の(standalone=それだけで完結した)プロダクトトークン」だという点です。つまり、通常のGoogle検索用の巡回制御(Googlebot向けのrobots.txt設定)とは独立して、AI用途だけを対象に可否を表明できます。この独立性こそが、「検索順位を保ったままAI用途を止める」を可能にしている仕組みの核心です。もしAI用途の制御が通常のGooglebotの巡回可否と一体だったら、AI用途を止めるために検索インデックスからも外れてしまい、SEOと両立できません。トークンを分けているからこそ、両者を切り分けられます。

具体例・データ

  • AI用途を全拒否する書き方:robots.txtに「User-agent: Google-Extended」「Disallow: /」。これでGemini/Vertex AIの学習やAI機能のグラウンディングへの使用を止められます。
  • 独自UAは存在しない:Google-ExtendedはHTTPリクエストに固有のUA文字列を持ちません。実際の取得はGooglebot等の既存UAが行います。
  • SEOへの非影響:Google-Extendedの拒否は通常のGoogle検索インデックス(検索順位)には影響しません。AI用途だけを止められます。
  • 対象はAIの学習+グラウンディング:将来世代のGeminiモデルの学習と、Google検索のAI機能への根拠提供(グラウンディング)が制御対象。
  • 同種の制御トークン:AppleのApplebot-Extendedも同じ考え方で、Appleの生成AI学習への使用可否を制御します(ページ巡回はせず、Applebotが取得したデータの用途だけを制御)。

同種の制御トークンであるApplebot-Extended(=Appleの生成AI学習への使用可否を制御するトークン)と並べると、この仕組みの共通した設計思想が見えます。Applebot-Extendedも、それ自体はWebページを巡回せず、Applebot(=Appleの通常のクローラー)が取得したデータを、Appleの生成AI学習に使ってよいかの判断にだけ使われます。Applebot-Extendedを拒否したページも、Appleの検索結果には引き続き含まれ得ます。「AI学習用途の可否」と「検索露出」を切り分ける——というGoogle-Extendedと同じ発想が、Appleの仕組みにも貫かれています。制御トークンは、独自クローラーを増やさずに用途だけを分離統制するための、業界で共通しつつある設計パターンだと理解できます。

この「制御トークン」という設計は、AI検索最適化の現場に実務的な含意をもたらします。ひとつは、AI用途の可否判断を、通常のSEO運用(=検索順位を上げるための施策)とは独立した別レイヤー(層)の意思決定として扱えることです。SEOチームは検索流入を最大化するためにGooglebotの巡回を歓迎し続けられる一方、コンテンツの権利や戦略を管理する側は、AI学習・AI機能への提供可否をGoogle-Extendedで別途コントロールできます。もうひとつは、独自クローラーが存在しないため、アクセスログのボット対策(=過剰なクロールによるサーバー負荷の抑制など)とは切り離して考えるべき点です。Google-Extendedを拒否してもGooglebotのアクセス自体は減らないので、負荷対策の目的でGoogle-Extendedをいじっても意味がありません。負荷はGooglebotのクロール設定の側で、AI用途の可否はGoogle-Extendedの側で、それぞれ別に管理するのが正確な運用です。

よくある誤解・注意点

実務での扱い方

  1. AI用途の方針を決める:Gemini/Vertex AIの学習やAI機能のグラウンディングに自社コンテンツを使わせたいか(許可)、使わせたくないか(拒否)を決めます。
  2. robots.txtにトークンを書く:拒否するなら「User-agent: Google-Extended」「Disallow: /」。特定パスだけ制御したい場合はallow/disallowを組み合わせます。
  3. SEOと切り分けて理解する:Google-Extendedの拒否は通常のGoogle検索順位に影響しません。検索流入を失う心配なしにAI用途だけを止められると理解します。
  4. ログでは探さない:Google-Extendedは独自UAを持たないため、アクセスログのUA検知対象にはなりません。実際の取得元はGooglebotとして現れます。
  5. Applebot-Extendedもあわせて設計する:Appleの生成AI学習を止めたい場合は、同種の制御トークンApplebot-Extendedをrobots.txtで別途指定します。
  6. AI機能露出とのトレードオフを判断する:AI Overviews等で根拠に使われたいなら許可のまま残します。止める判断はAI露出機会の放棄とセットだと理解します。

よくある質問(FAQ)

Google-Extendedには専用のクローラー(独自User-Agent)がありますか。

ありません。Google-Extendedは制御トークンで、HTTPリクエスト上の独自UA文字列を持ちません。実際のページ取得はGooglebotなど既存のGoogleのUAが行い、Google-ExtendedはAI用途への使用可否をrobots.txtで表明する名前としてだけ機能します。

Google-Extendedを拒否すると、Google検索の順位に影響しますか。

影響しません。Google-Extendedの拒否はAI用途(Gemini/Vertex AIの学習やAI機能のグラウンディング)にだけ効き、通常のGoogle検索インデックス(SEO)には影響しません。検索順位を保ったままAI用途だけを止められます。

AI用途への使用を拒否するにはどう書きますか。

robots.txtに「User-agent: Google-Extended」と書き、続けて「Disallow: /」でサイト全体のAI用途への使用を拒否します。特定のパスだけ制御したい場合は、通常のrobots.txt記法どおりallow/disallowを組み合わせます。

Google-Extendedは具体的に何を制御しますか。

Gemini/Vertex AIの将来世代モデルの学習と、Google検索のAI機能におけるグラウンディング(回答生成時に検索索引から根拠本文をモデルに渡す仕組み)への、自サイトコンテンツの使用可否を制御します。

Applebot-Extendedと同じものですか。

同じ考え方の制御トークンです。Applebot-ExtendedはAppleの生成AI学習への使用可否を制御し、それ自体はページを巡回せず、Applebotが取得したデータの用途だけを制御します。「AI用途の可否」と「検索露出」を切り分けるという設計思想が両者に共通します。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. Google 検索セントラル: Google の特殊クローラー / Google-Extended(新しいタブで開く)https://developers.google.com/search/docs/crawling-indexing/google-common-crawlers
  2. Google 検索セントラル: 検索のAI機能とサイト(新しいタブで開く)https://developers.google.com/search/docs/appearance/ai-features

関連用語

AIクローラー

えーあいくろーらー

生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。

クローラー(クロール)

くろーらー

リンクをたどってページを次々に取得して回る巡回プログラム(クローラー)と、その巡回作業(クロール)。

robots.txt

ろぼっつてきすと

サイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。

Googlebot

ぐーぐるぼっと

Google検索の索引を作る基本クローラー。集めたページはAI Overviews/AI Modeの材料にもなります。Google-Extendedは制御用トークンで固有UAを持たず、実取得はGooglebotが行います。

Google AI Overviews(AI概要)

えーあいおーばーびゅー

Google検索結果の最上部に出る、複数サイトの情報をまとめたAI生成の要約。旧SGEの後継で、日本でも展開済み。

Applebot-Extended

あっぷるぼっとえくすてんでっど

Appleの生成AI学習に自サイトを使ってよいかをrobots.txtで表明する制御トークン。固有UAを持たず自身は巡回しません。実取得はApplebotが行います。

トークン

とーくん

LLMが文章を処理する最小単位。料金・入力上限・処理量を数える基準になります。

Gemini

じぇみに

Googleの生成AI(対話型AI・モデル群の総称)。Google検索と連携(grounding)して、最新情報を出典付きで返せます。

生成AI

せいせいえーあい

文章・画像・音声などを新しく作り出すAIの総称。AI検索とAIO対策の大前提。

AI検索

エーアイけんさく

生成AIを使って答えを導く検索の総称。

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編