GLOSSARY
Google-Extended
Googleが、
Google-Extendedとは 何か
Google-Extendedは、
この
なぜ重要か (AI検索での 位置づけ)
AI検索最適化
逆に、
仕組み (制御トークンと robots.txt)
Google-Extendedの
| 項目 | Google-Extended | 固有UAを |
|---|---|---|
| 独自User-Agent | 持たない | 持つ |
| 実際の | Googlebot等の | 自分 |
| robots.txtでの | AI用途への | 巡回可否の |
| 通常の | 影響しない | Disallowすると |
横にスクロールできます
もう
具体例・ データ
- AI用途を
全拒否する 書き方 :robots.txtに 「User-agent: Google-Extended」 → 「Disallow: /」。 これで Gemini/Vertex AIの 学習や AI機能の グラウンディングへの 使用を 止められます。 - 独自UAは
存在しない :Google-Extendedは HTTPリクエストに 固有の UA文字列を 持ちません。 実際の 取得は Googlebot等の 既存UAが 行います。 - SEOへの
非影響:Google-Extendedの 拒否は 通常の Google検索インデックス (検索順位)には 影響しません。 AI用途だけを 止められます。 - 対象は
AIの 学習+グラウンディング:将来世代の Geminiモデルの 学習と、 Google検索の AI機能への 根拠提供 (グラウンディング)が 制御対象。 - 同種の
制御トークン:Appleの Applebot-Extendedも 同じ 考え方で、 Appleの 生成AI学習への 使用可否を 制御します (ページ 巡回は せず、 Applebotが 取得した データの 用途だけを 制御)。
同種の
この
よく ある 誤解・ 注意点
実務での 扱い方
- AI用途の
方針を 決める :Gemini/Vertex AIの 学習や AI機能の グラウンディングに 自社コンテンツを 使わせたいか (許可)、 使わせたくないか (拒否)を 決めます。 - robots.txtに
トークンを 書く :拒否するなら 「User-agent: Google-Extended」 → 「Disallow: /」。 特定パスだけ制御したい 場合は allow/disallowを 組み合わせます。 - SEOと
切り分けて 理解する :Google-Extendedの 拒否は 通常の Google検索順位に 影響しません。 検索流入を 失う 心配なしに AI用途だけを 止められると 理解します。 - ログでは
探さない :Google-Extendedは 独自UAを 持たないため、 アクセスログの UA検知対象には なりません。 実際の 取得元は Googlebotと して 現れます。 - Applebot-Extendedも
あわせて 設計する :Appleの 生成AI学習を 止めたい 場合は、 同種の 制御トークンApplebot-Extendedを robots.txtで 別途指定します。 - AI機能露出との
トレードオフを 判断する :AI Overviews等で 根拠に 使われたいなら 許可のまま 残します。 止める 判断は AI露出機会の 放棄と セットだと 理解します。
よく ある 質問 (FAQ)
Google-Extendedには 専用の クローラー (独自User-Agent)が ありますか。
ありません。
Google-Extendedを 拒否すると、 Google検索の 順位に 影響しますか。
影響しません。
AI用途への 使用を 拒否するには どう 書きますか。
robots.txtに
Google-Extendedは 具体的に 何を 制御しますか。
Gemini/Vertex AIの
Applebot-Extendedと 同じ ものですか。
同じ
関連する出典
この記事の根拠にした一次情報(=発表元がみずから出している資料)です。
関連用語
AIクローラー
えーあいくろーらー生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。
クローラー(クロール)
くろーらーリンクをたどってページを次々に取得して回る巡回プログラム(クローラー)と、その巡回作業(クロール)。
robots.txt
ろぼっつてきすとサイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。
Googlebot
ぐーぐるぼっとGoogle検索の索引を作る基本クローラー。集めたページはAI Overviews/AI Modeの材料にもなります。Google-Extendedは制御用トークンで固有UAを持たず、実取得はGooglebotが行います。
Google AI Overviews(AI概要)
えーあいおーばーびゅーGoogle検索結果の最上部に出る、複数サイトの情報をまとめたAI生成の要約。旧SGEの後継で、日本でも展開済み。
Applebot-Extended
あっぷるぼっとえくすてんでっどAppleの生成AI学習に自サイトを使ってよいかをrobots.txtで表明する制御トークン。固有UAを持たず自身は巡回しません。実取得はApplebotが行います。
トークン
とーくんLLMが文章を処理する最小単位。料金・入力上限・処理量を数える基準になります。
Gemini
じぇみにGoogleの生成AI(対話型AI・モデル群の総称)。Google検索と連携(grounding)して、最新情報を出典付きで返せます。
生成AI
せいせいえーあい文章・画像・音声などを新しく作り出すAIの総称。AI検索とAIO対策の大前提。
AI検索
エーアイけんさく生成AIを使って答えを導く検索の総称。
