GLOSSARY
オプトアウト (学習拒否)
自社コンテンツを
オプトアウトとは、
オプトアウトとは (正確な 定義)
オプトアウト
ここで
なぜ重要か (AI検索での 位置づけ)
AI検索対策
とくに
もう
仕組み/オプトアウトの 手段
AIへの
| 手段 | 書く | 主な | 限界 |
|---|---|---|---|
| robots.txt | サイトルートの | ボット名を | 自主尊重が |
| Google-Extended | robots.txt の | Gemini等の | 独立UAは |
| Applebot-Extended | robots.txt の | Appleの | 同上 |
| メタタグ / HTTPヘッダー | HTMLの | noindex等で | AI学習の |
| 各社の | ChatGPT等の | 入力した | サイト側でなく |
横にスクロールできます
表の
メタタグや
具体例・学習系と 検索系の 出し分け
オプトアウトの
| 自社の | GPTBot | OAI-SearchBot | 結果 |
|---|---|---|---|
| 学習も | 拒否 | 拒否 | AIから |
| 学習だけ拒否・検索は | 拒否 | 許可 | 資産は |
| 全面的に | 許可 | 許可 | 学習・検索とも |
横にスクロールできます
多くの
この
オプトアウトを
よく ある 誤解・ 注意点
- オプトアウトは
「今後の 取得・学習」を 止める もの。 すでに 学習済みの モデルから 遡って 削除される わけではない - 学習系を
拒否しても 検索・回答系まで 自動で 拒否される わけでは ありません。 ボットごとに 設定は 独立している - user-triggered fetcher
(ChatGPT-User等)は robots.txtを 必ずしも 尊重しません。 完全遮断は robots.txtだけでは 保証されない - robots.txtの
拒否に 法的強制力は ありません。 従うかは ボット側の 自主性に 委ねられる - 検索系まで
一律拒否すると、 AI検索での 露出機会を 自ら手放すことに なる - ボット名や
制御トークンは 各社の 更新で 変わります。 定期的に 公式ドキュメントで 最新を 確認する
実務での 扱い方 (サイト運営者向けの 手順)
- 方
針を 決める : 学習に 使われてよいか /AI検索の 結果に 出したいかを、 ボット種別ごとに 整理する - robots.txtで
出し分ける : 学習系 (GPTBot・ClaudeBot等)は 方針に 応じ拒否、 検索系 (OAI-SearchBot・PerplexityBot)は 露出したいなら 許可を 書く - Google/Appleは
制御トークンで : Google-Extended・Applebot-Extendedで 学習利用だけを 拒否し、 通常の 検索クロールは 維持する - サーバーログで
確認する : 拒否した ボットが 実際に 止まっているか、 許可した ボットが 取得できているかを 観測する - 厳密な
遮断が 要る 箇所は 追加策: robots.txtに 従わない ボット向けに、 公式IPレンジ照合+IP単位の 遮断を 併用する - 定期的に
見直す: ボット名・制御トークン・各社方 針は 変わる ため、 四半期ごとなど 周期を 決めて 点検する
robots.txtで AIボットを 拒否すれば、 AIから 自社の 情報は 消えますか。
消えません。
学習には 使わせたくないが、 AI検索の 回答には 出したい 場合は。
可能です。
robots.txtに 書けば 必ず 守られますか。
保証は
AIボットを 全部 ブロックするのが 一番安全ですか。
安全と
拒否を 書いた ボットが 本当に 止まっているか、 どう 確かめますか。
サーバーログ
関連する出典
この記事の根拠にした一次情報(=発表元がみずから出している資料)です。
関連用語
データ学習(AI training)
でーたがくしゅうWeb上の大量データからモデルを訓練すること。学習系クローラーとの関係と、著作権・オプトアウトが論点。
robots.txt
ろぼっつてきすとサイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。
公開IPレンジ検証
こうかいあいぴーれんじけんしょうUA詐称に対し、各社公開のIPレンジJSON(gptbot.json等)や逆引きで、本物のボットか照合する手法。
AI利用規約
えーあいりようきやく各AIサービスが定める利用条件(商用可否・学習利用など)。AI検索対策時に企業が確認すべき点。
Applebot-Extended
あっぷるぼっとえくすてんでっどAppleの生成AI学習に自サイトを使ってよいかをrobots.txtで表明する制御トークン。固有UAを持たず自身は巡回しません。実取得はApplebotが行います。
ClaudeBot
くろーどぼっとAnthropic(対話型AI「Claude」を開発する企業)がモデル訓練用データを集めるために公開する学習・収集系クローラー。
AI検索
エーアイけんさく生成AIを使って答えを導く検索の総称。
GPTBot
じーぴーてぃーぼっとOpenAIが公開・運用する学習・収集系クローラー。将来のモデル訓練データにするために公開Webを巡回します。ChatGPT検索の回答表示用OAI-SearchBotや、ユーザー起点取得のChatGPT-Userとは目的が別。
トークン
とーくんLLMが文章を処理する最小単位。料金・入力上限・処理量を数える基準になります。
OAI-SearchBot
おーえーあいさーちぼっとOpenAIの回答・検索系クローラー。ChatGPTの検索機能で参照先(出典)を表示するために使います。学習用GPTBotとは目的が別で、AI検索の可視性ではここが最重要。ここに取得・索引されることが「ChatGPTの回答に載る」に最も近いです。
