GPTBot

GPTBotとは何か

GPTBotは、OpenAIが「学習・収集」のために動かす自動巡回クローラーです。役割は、将来のOpenAI製生成AI基盤モデル（＝ChatGPTなどの土台になる、大量の文章から言語を学習したAIの本体）の訓練に使う候補として、公開されているWebページのテキストを集めることにあります。動き方は、リンクをたどって網羅的にサイトを巡る定期巡回型で、ユーザーの操作がなくてもスケジュールに従って動きます。この点が、後述するChatGPT-User（ユーザーの指示を起点にその場で1件だけ取りに行くフェッチャー）と根本的に違うところです。

サイト側から見ると、GPTBotはHTTPリクエストのUA文字列に「GPTBot」を含めて来訪します。したがってアクセスログでこの名前を数えれば、「OpenAIが自サイトを訓練データ候補としてどれくらい収集しに来たか」の目安が分かります。ただしこの数字は、ChatGPTの回答に自社が引用された回数とは意味が違います。GPTBotの収集は将来のモデルへ溶け込むための土台づくりであって、いつ・どの回答に反映されるかは不透明な「遅効性（＝効果が遅れて現れる性質）」の活動だからです。

AIボットを扱う土台になるのが「3分類」の考え方です。世の中のAI関連ボットは、目的の違いで大きく3種に分かれます。(1) 学習・収集系＝モデルの訓練データにするために公開Webを集めるもの（OpenAIならGPTBot）。(2) 回答・検索系＝AIが回答するときに出典として提示する候補をあらかじめ索引化するもの（OpenAIならOAI-SearchBot）。(3) ユーザー起点フェッチャー＝人がその場で指示した瞬間にだけ発火して1件ずつ取りに行くもの（OpenAIならChatGPT-User）。GPTBotはこのうち(1)の代表格です。この3分類を最初に押さえておくと、ログの数字を「学習の収集量」「回答候補づくり」「ユーザーの即時参照」に切り分けて読めるようになり、後述する「量＝成果」という取り違えを避けられます。

なぜ重要か（AI検索での位置づけ）

AI検索の最適化（AIO／GEO＝生成AIに引用・参照されやすくする対策）を考えるとき、GPTBotは「将来の認知の入口」に当たります。GPTBotに収集されたコンテンツは、将来の言語モデルの背景知識として溶け込む可能性があり、そこで自社名・自社の主張・専門知識がモデルの中に定着すれば、ユーザーが直接URLを示さなくてもAIが自社の知識を語る土台になります。ただしこれは即時の成果ではなく、収集された事実だけでは「ChatGPTの回答に載った」証拠になりません。GPTBotの収集は必要条件であっても十分条件ではなく、実際に回答へ反映されたかは別途モニタリング（＝継続的な観測）で確かめる必要があります。

学習用途を拒否するかどうかは、AI検索戦略の分岐点になります。自社の情報をAIに学ばせて広く語られたいなら許可、独自コンテンツの無断学習を避けたいなら拒否——という判断です。重要なのは、この学習の可否と、ChatGPT検索での露出（OAI-SearchBotの可否）を切り離して決められる点です。OpenAIの公式説明でも、各設定は互いに独立で、たとえば「検索に出したいのでOAI-SearchBotは許可し、学習には使ってほしくないのでGPTBotは拒否する」という組み合わせが明示的に認められています。

仕組み（UA文字列とrobots.txt制御）

GPTBotの判別は、まずUA文字列に「GPTBot」が含まれるかで行います。robots.txtでの制御は、対象のUA名を指定してから可否を書く形です。学習をまるごと拒否したいなら、robots.txtに「User-agent: GPTBot」と書き、続けて「Disallow: /」（＝サイト全体を対象に不許可）と記述します。特定のディレクトリだけ拒否したい、あるいは特定のパスだけ許可したい、といった細かい指定も、通常のrobots.txt記法と同じ要領で書けます。

ただしUA文字列は誰でも自由に書き換えられます。悪意ある第三者が「GPTBot」を名乗って大量アクセスすることも、逆に本物のGPTBotを装って行儀の悪いスクレイピング（＝機械的なデータ抜き取り）をすることも技術的には可能です。そこで本人確認の要になるのが、OpenAIが公開する正当なアクセス元IPアドレス範囲の機械可読ファイル（一般に gptbot.json 等の形で配布）との照合です。UA名が「GPTBot」であっても、アクセス元IPがOpenAI公式の範囲に入っていなければ本物ではない、と判定できます。UA名の一致とIPレンジ照合をセットで行うのが、詐称を排した正確な検知の基本です。

robots.txtの反映には時間差がある点も実務では重要です。OpenAIの説明によれば、サイトのrobots.txtを更新してから、検索系の露出設定に反映されるまで、システム側の調整におおむね1日程度の時差が生じます。加えて、GPTBotとOAI-SearchBotの両方を許可している場合、重複した巡回を避けるため、OpenAIは片方のクロール結果を両用途に使うことがあります。したがって「ログ上でGPTBotの巡回が見えないから学習されていない」と単純に結論づけるのは早計で、収集の実態は別ボットのクロールに集約されている場合があります。

具体例・データ

• UA検知の手がかり：アクセスログのUA文字列に「GPTBot」を部分一致で含むかで判別します。
• 学習拒否の書き方：robots.txtに「User-agent: GPTBot」→「Disallow: /」で学習用途の収集をサイト全体で拒否します。
• 設定の独立性：GPTBot（学習）とOAI-SearchBot（検索露出）は別々に可否指定できます。学習を拒否しつつ検索露出は許可、という組み合わせが可能。
• 公式IPレンジ照合：OpenAIは自社ボットのIP範囲を機械可読ファイル（gptbot.json 等）で公開しています。UA照合だけでなくIP照合で本物を確認すると詐称を排除できます。
• robots.txt反映の時差：検索露出への反映には、robots.txt更新からおおむね1日程度の時差が生じます。
• 重複回避：両ボットを許可している場合、片方のクロール結果を両用途に流用することがあります（重複巡回の回避）。

3系統を横断してAI検索での意味合いを整理すると、次のように読み分けられます。GPTBot（学習）に取られる＝将来の言語モデルの背景知識に自社が溶け込む可能性（ただし遅効性で不透明）。OAI-SearchBot（検索索引）に取られる＝ChatGPT検索の回答で出典として引用される候補になります（成果に近い入口）。ChatGPT-User（ユーザー起点）に取られる＝いま実際にChatGPTのユーザーが自サイトを参照している需要のシグナル（即時性が高いです）。この3つを1つの「AIアクセス数」として合算してしまうと、遅効性の収集と即時の需要が混ざり、施策の効果判断を誤ります。GPTBotの数字は「学習の収集量」として、他の2系統と分けて読むのが原則です。

他社の学習・収集系クローラーと並べると、GPTBotの位置づけがさらに明確になります。Anthropic（アンソロピック＝対話型AI「Claude」を開発するAI企業）のClaudeBot、ByteDance（バイトダンス＝TikTokを運営する中国企業）のBytespiderも、いずれも「将来のモデル訓練データにするために公開Webを集める」学習・収集系という同じ系統に属します。共通点は、(a) ユーザー操作ではなくスケジュールに従って定期巡回すること、(b) robots.txtの巡回可否指定が原則として効くこと（＝行儀のよいボットは尊重する）、(c) 効果が遅効性で、収集された事実がそのまま「AIの回答に載った」証拠にはならないこと、の3点です。GPTBotを理解することは、そのまま他社の学習系クローラーを読み解く型になります。なお、robots.txtはあくまで強制力のない要請であり、学習系だからといって一律に確実に止められると考えるのは危険です。ボットごとの挙動を個別に確認するのが実務では正確です。

よくある誤解・注意点

実務での扱い方

1. 3ボットを分けて認識する：GPTBot（学習）・OAI-SearchBot（検索露出）・ChatGPT-User（ユーザー起点取得）の目的差を理解し、方針を別々に決めます。
2. 学習方針を決める：自社の情報をAIに学ばせて広く語られたいなら許可、無断学習を避けたいなら拒否。robots.txtで「User-agent: GPTBot」を対象に可否を書きます。
3. 検索露出と切り離す：学習を拒否しても検索に出したい場合は、OAI-SearchBotは許可のまま残します。設定は独立していると理解します。
4. ログでUAを集計する：GPTBotの来訪を、OAI-SearchBotやChatGPT-Userと分けて数えます。「学習」「回答検索」「ユーザー起点取得」を混ぜません。
5. IPで裏を取る：不審な大量アクセスや遮断判断では、UA名だけでなくOpenAI公式IPレンジ（gptbot.json 等）と照合して詐称を排除します。
6. 反映の時差を織り込む：robots.txtを変えても検索露出への反映には1日程度の時差があると見込み、直後の挙動だけで判断しません。

よくある質問（FAQ）