本文へスキップ

GLOSSARY

オプトアウト(学習拒否)

自社コンテンツをAIの学習・利用に使わせない、という意思表示。robots.txt・メタタグ・各社設定で行います。

おぷとあうと12分で読めます

オプトアウトとは、初期状態では利用が許されているものから、自分の意思で「抜ける=拒否する」ことです。AI検索の文脈では、自社の公開コンテンツをAIの学習や回答生成に使わせないという意思表示を指します。手段はrobots.txt・メタタグ・各社の設定画面など複数あり、要点は「学習系」と「検索・回答系」を分けて拒否できることです。ここを混同すると、露出したいのに止めてしまう取り違えが起きます。

オプトアウトとは(正確な定義)

オプトアウト(opt-out)は「選んで(opt)外れる(out)」という英語で、初期状態が「参加・許可」になっているものから、意思表示によって抜ける仕組みを指します。反対語はオプトイン(opt-in=明示的に許可して初めて参加する式)です。AIとWebコンテンツの関係では、公開されたページは技術的には誰でも取得できてしまうため、実務上の初期状態は「取得・利用されうる」に近く、それを止める行為がオプトアウトにあたります。「同意していないのに勝手に使われた」という不満の裏返しとして、この拒否の手段が整備されてきました。

ここで押さえるべきは、AIによる「利用」が一枚岩ではないことです。同じ会社のボットでも、モデルの訓練(学習)のためにページを集める経路と、ユーザーの質問に答えるための検索・回答の経路は目的が独立しています。したがってオプトアウトも「学習だけ拒否する」「検索・回答も含めて拒否する」を選び分けられます。この選択肢の存在こそが、AIへのオプトアウトを従来の「クローラーを全部拒否する/許可する」という単純な二択と分ける決定的な違いです。

なぜ重要か(AI検索での位置づけ)

AI検索対策(AIO=AI Optimization。AIに引用・参照されるための最適化)は「AIに読ませて露出を増やす」方向の施策ですが、オプトアウトはその逆、「AIに使わせない」方向の意思決定です。両者は矛盾するように見えて、実は同じコインの裏表です。なぜなら、AIへの向き合い方を決めるには「何を読ませ、何を守るか」を自社で線引きする必要があり、その守る側の手段がオプトアウトだからです。無防備に全部使わせるのでも、恐れて全部拒否するのでもなく、目的別に線を引く——この判断こそがAI時代のコンテンツ戦略の出発点になります。

とくに重要なのが、著作権や事業資産の保護という動機です。自社が費用をかけて作った記事・データ・調査結果が、断りなくAIの学習に取り込まれ、競合も使えるモデルの一部になることに抵抗を感じる企業は少なくありません。その一方で、AI検索の回答に自社が出てこなければ、新しい集客の入口を丸ごと失います。この「資産を守りたい」と「露出を得たい」という相反する要求を同時に満たすために、学習系だけをオプトアウトし、検索・回答系は許可する、という折衷が現実的な落としどころになります。オプトアウトを目的別に使い分けられることが、この両立を可能にしています。

もう一つの位置づけは「意思表示としての価値」です。robots.txtでの拒否には法的な強制力がなく、良識的なボットが自主的に従うことを前提とした仕組みです。しかし、明確にオプトアウトを表明しておくこと自体に、後々の交渉や紛争での立場を強める意味があります。「公開していたのだから使ってよいはずだ」という主張に対し、「明示的に拒否していた」という事実は、無断利用に異を唱える根拠になりえます。技術的な遮断とは別に、意思を記録として残す行為としてもオプトアウトは機能します。

仕組み/オプトアウトの手段

AIへのオプトアウトには、いくつかの層の手段があります。どれを使うかは「何を・どのボットに対して拒否したいか」で決まります。代表的な手段を整理します。

AIオプトアウトの主な手段と対象
手段書く場所主な効果限界
robots.txtサイトルートの robots.txtボット名を指定してクロールを拒否自主尊重が前提。fetcher系は従わないことがある
Google-Extendedrobots.txt の制御トークンGemini等の学習利用だけを拒否(検索は維持)独立UAはなく学習可否の制御専用
Applebot-Extendedrobots.txt の制御トークンAppleのAI学習利用を拒否(検索は維持)同上(制御専用トークン)
メタタグ / HTTPヘッダーHTMLの<head>や応答ヘッダーnoindex等でページ単位の掲載制御AI学習の可否を直接示す標準は発展途上
各社の設定画面ChatGPT等のアカウント設定入力した会話を学習に使わせない設定サイト側でなく利用者側の拒否

横にスクロールできます

表のうち実務でまず使うのがrobots.txtです。GPTBot(OpenAIの学習用)やClaudeBot(Anthropicの収集用)といったボット名を指定して拒否を書けば、それらのボットは自主的に取得を控えます。GoogleとAppleは特殊で、通常の検索クロールはそのまま許しつつ「AI学習に使う分だけ」を拒否できるよう、Google-Extended・Applebot-Extendedという制御トークン(=robots.txtに書く識別名)を用意しています。これらは独立したボットではなく、既存クローラーが取得した内容の学習利用可否だけを切り替えるスイッチです。

メタタグやHTTPヘッダーによる制御にも触れておきます。従来のSEOでは、ページ単位で検索結果への掲載を拒否する「noindex」という指示を、HTMLのメタタグや応答ヘッダーで出せます。これはページ単位の細かな制御に有効ですが、AIの学習利用の可否を直接示すための共通の標準は、まだ発展途上です。現時点で最も確実にAIへの意思表示を届けられるのはrobots.txtでのボット単位の制御であり、メタタグはあくまで検索掲載の制御を補う位置づけと捉えるのが実務的です。手段が複数あることを知りつつ、まずはrobots.txtを軸に据えるのが、確実で見通しのよい設計になります。

具体例・学習系と検索系の出し分け

オプトアウトの勘所は「学習は拒否、検索・回答は許可」という出し分けです。同じOpenAIでも、GPTBot(学習)とOAI-SearchBot(ChatGPT検索の索引用)は目的が独立しているため、robots.txtで前者だけを拒否し後者を許可すれば、「学習には使わせないがChatGPT検索の結果には出す」が実現できます。具体的な組み合わせを整理します。

目的別に見たオプトアウトの判断例
自社の狙いGPTBot(学習)OAI-SearchBot(検索)結果
学習も検索も拒否拒否拒否AIから完全に距離を置く
学習だけ拒否・検索は歓迎拒否許可資産は守りつつAI検索露出は得る
全面的に歓迎許可許可学習・検索とも最大限読ませる

横にスクロールできます

多くの企業にとって現実的なのは真ん中の「学習だけ拒否・検索は歓迎」です。自社の作ったコンテンツを競合も使えるモデルの学習素材にしたくない一方、ChatGPTやPerplexityの回答に自社が出典として現れる機会は逃したくないからです。逆に、検索系まで一律に拒否してしまうと、AI検索という新しい流入経路を自ら閉ざすことになります。「AIボットを全部ブロックして安心」という判断は、露出の機会損失という副作用を伴うことを理解しておく必要があります。

この出し分けを正しく行うには、各ボットが「学習系」か「検索系」かを取り違えないことが前提になります。名前が似ていても役割は異なります。たとえばOpenAIのGPTBotは学習系ですが、OAI-SearchBotは検索系で、ChatGPT-Userはユーザーの操作を起点にその場で取りに来るフェッチャーです。この三つを一括りに「OpenAIのボット」として扱うと、狙った出し分けができません。オプトアウトを設計するときは、まず各ボットの名前と役割の対応表を手元に用意し、「学習は止める/検索は通す/フェッチャーは別途考える」という三分類で機械的に整理していくのが、取り違えを防ぐ確実な進め方です。

オプトアウトを設定したあとの「確認」も忘れてはなりません。robots.txtに拒否を書いただけで満足せず、実際にそのボットが来なくなったか、逆に許可したボットはちゃんと取得できているかを、サーバーログで観測して確かめます。設定と実態がずれていることは珍しくなく、たとえば書き方の誤りで意図せず全ボットを拒否していた、あるいは狙ったボット名の綴りが違っていて拒否が効いていなかった、といった食い違いは、ログを見て初めて気づけます。オプトアウトは「書いて終わり」ではなく、「書いて・観測して・ずれを直す」までを一つの循環として回すことで、初めて意図どおりに機能します。

よくある誤解・注意点

  • オプトアウトは「今後の取得・学習」を止めるもの。すでに学習済みのモデルから遡って削除されるわけではない
  • 学習系を拒否しても検索・回答系まで自動で拒否されるわけではありません。ボットごとに設定は独立している
  • user-triggered fetcher(ChatGPT-User等)はrobots.txtを必ずしも尊重しません。完全遮断はrobots.txtだけでは保証されない
  • robots.txtの拒否に法的強制力はありません。従うかはボット側の自主性に委ねられる
  • 検索系まで一律拒否すると、AI検索での露出機会を自ら手放すことになる
  • ボット名や制御トークンは各社の更新で変わります。定期的に公式ドキュメントで最新を確認する

実務での扱い方(サイト運営者向けの手順)

  1. 針を決める: 学習に使われてよいか/AI検索の結果に出したいかを、ボット種別ごとに整理する
  2. robots.txtで出し分ける: 学習系(GPTBot・ClaudeBot等)は方針に応じ拒否、検索系(OAI-SearchBot・PerplexityBot)は露出したいなら許可を書く
  3. Google/Appleは制御トークンで: Google-Extended・Applebot-Extendedで学習利用だけを拒否し、通常の検索クロールは維持する
  4. サーバーログで確認する: 拒否したボットが実際に止まっているか、許可したボットが取得できているかを観測する
  5. 厳密な遮断が要る箇所は追加策: robots.txtに従わないボット向けに、公式IPレンジ照合+IP単位の遮断を併用する
  6. 定期的に見直す: ボット名・制御トークン・各社方針は変わるため、四半期ごとなど周期を決めて点検する

robots.txtでAIボットを拒否すれば、AIから自社の情報は消えますか。

消えません。オプトアウトは今後の取得・学習を止めるもので、すでに学習済みのモデルに含まれる内容を遡って削除するものではありません。あくまで「これから先」への意思表示です。

学習には使わせたくないが、AI検索の回答には出したい場合は。

可能です。OpenAIの例では、GPTBot(学習)をrobots.txtで拒否しつつOAI-SearchBot(検索)を許可すれば、その出し分けができます。GoogleならGoogle-Extendedで学習だけ拒否し、通常のGooglebotによる検索は維持できます。

robots.txtに書けば必ず守られますか。

保証はありません。robots.txtは自主尊重を前提とした要請で、法的強制力はありません。とくに人の操作を起点とするフェッチャーには効かないことがあり、OpenAIもChatGPT-Userについてrobots.txtのルールが適用されない場合があると公式に説明しています。厳密な遮断にはIP単位の対策を併用します。

AIボットを全部ブロックするのが一番安全ですか。

安全と限りません。学習系だけでなく検索・回答系まで拒否すると、AI検索の回答に自社が出なくなり、新しい流入の入口を失います。守りたいもの(学習)と得たいもの(露出)を分けて判断するのが実務の基本です。

拒否を書いたボットが本当に止まっているか、どう確かめますか。

サーバーログ(=アクセスの記録)で、拒否したボット名の取得が実際に減っているかを観測します。ただしUser-Agent(=ボットの自己申告名)は詐称されうるため、正確に見るなら各社公開のIPレンジ(=正規ボットの接続元IPの範囲)と照合し、本物のアクセスだけを数えるのが確実です。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. OpenAI: OpenAIのボット(GPTBot / OAI-SearchBot / ChatGPT-User)(新しいタブで開く)https://platform.openai.com/docs/bots
  2. Anthropic: Anthropicのクローラーとブロック方法(新しいタブで開く)https://support.anthropic.com/en/articles/8896518

関連用語

データ学習(AI training)

でーたがくしゅう

Web上の大量データからモデルを訓練すること。学習系クローラーとの関係と、著作権・オプトアウトが論点。

robots.txt

ろぼっつてきすと

サイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。

公開IPレンジ検証

こうかいあいぴーれんじけんしょう

UA詐称に対し、各社公開のIPレンジJSON(gptbot.json等)や逆引きで、本物のボットか照合する手法。

AI利用規約

えーあいりようきやく

各AIサービスが定める利用条件(商用可否・学習利用など)。AI検索対策時に企業が確認すべき点。

Applebot-Extended

あっぷるぼっとえくすてんでっど

Appleの生成AI学習に自サイトを使ってよいかをrobots.txtで表明する制御トークン。固有UAを持たず自身は巡回しません。実取得はApplebotが行います。

ClaudeBot

くろーどぼっと

Anthropic(対話型AI「Claude」を開発する企業)がモデル訓練用データを集めるために公開する学習・収集系クローラー。

AI検索

エーアイけんさく

生成AIを使って答えを導く検索の総称。

GPTBot

じーぴーてぃーぼっと

OpenAIが公開・運用する学習・収集系クローラー。将来のモデル訓練データにするために公開Webを巡回します。ChatGPT検索の回答表示用OAI-SearchBotや、ユーザー起点取得のChatGPT-Userとは目的が別。

トークン

とーくん

LLMが文章を処理する最小単位。料金・入力上限・処理量を数える基準になります。

OAI-SearchBot

おーえーあいさーちぼっと

OpenAIの回答・検索系クローラー。ChatGPTの検索機能で参照先(出典)を表示するために使います。学習用GPTBotとは目的が別で、AI検索の可視性ではここが最重要。ここに取得・索引されることが「ChatGPTの回答に載る」に最も近いです。

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編