本文へスキップ

GLOSSARY

公開IPレンジ検証

UA詐称に対し、各社公開のIPレンジJSON(gptbot.json等)や逆引きで、本物のボットか照合する手法。

こうかいあいぴーれんじけんしょう11分で読めます

公開IPレンジ検証とは、ボットの接続元IPアドレスを根拠に、本物か偽物かを確かめる手法です。User-Agentは容易に詐称できるため、「GPTBot」と名乗るだけでは本物と判定できません。各社が公開する正規ボットのIPレンジ一覧(gptbot.json等)と接続元IPを照合し、あるいは逆引きで公式ドメインに解決されるかを確認します。UAという自己申告を、IPという偽装しにくい情報で裏づけるのが要点です。

公開IPレンジ検証とは(正確な定義)

この手法の前提は、User-Agent(ユーザーエージェント=アクセス元のソフトが名乗る名前)が自己申告にすぎない、という事実です。HTTPリクエストのUA欄は誰でも任意の文字列を入れられるため、「GPTBot」「ClaudeBot」と名乗ることは、悪意ある第三者にも簡単にできます。実際、正規ボットのふりをして負荷をかけたり、ボット向けに用意された特別な扱いを悪用したりする詐称が起こりえます。したがって、UAだけで「本物のAIボットが来た」と判断するのは危険です。

そこで根拠にするのが、偽装しにくいIPアドレスです。IPアドレスは、リクエストが実際にどこから来たかを示すもので、UAのように自由に詐称できません(送信元を偽ると応答が返らないため、通常の通信では実在の接続元が現れます)。各社は、自社の正規ボットが使うIPアドレスの範囲を「IPレンジ」として公開しており、この範囲に接続元が含まれていれば本物、含まれなければ偽物、と判定できます。IPレンジは通常CIDR表記(例:192.0.2.0/24=連続するIPの範囲を表す書き方)でまとめられ、機械可読なJSONファイルで配布されます。

なぜ重要か(AI検索での位置づけ)

AI検索対策では、サーバーログでAIボットの訪問を観測することが出発点になります。しかし、そのログのUA欄を鵜呑みにすると、二重の誤りが起こりえます。一つは、偽物のGPTBotを本物と数えて「AIによく読まれている」と過大評価してしまう誤りです。もう一つは、逆に本物のボットを偽物と疑って不要に遮断し、AI検索での露出機会を失う誤りです。IPレンジ検証は、この観測の信頼性を担保する要であり、「本物のボットが来ているか」を事実で確かめるための手段です。

とりわけ重要なのが、ボット向けの特別扱いを設計する場面です。たとえば「正規のAIボットには全ページを見せるが、それ以外には制限する」といった出し分けをするとき、UAだけで判定していると、UAを詐称した第三者にその特別扱いを悪用されます。IPレンジで本物だけを通す設計にして初めて、こうした出し分けが安全に成立します。AI検索対策が「どのボットを歓迎するか」の細やかな制御に進むほど、その判定を偽装できないIPで行うことの重要性が増します。

もう一つの位置づけは、負荷・セキュリティ管理との接点です。正規ボットのふりをした大量アクセスは、サーバーに負荷をかける攻撃の一種にもなりえます。IPレンジ検証で正規ボットを識別できれば、「本物は通し、正体不明のなりすましは遮断する」という判断ができます。AI検索での露出を得たいという攻めの動機と、なりすましから自社を守りたいという守りの動機の、両方に効く手法です。観測の正確さ、出し分けの安全性、負荷の管理という三つの目的が、この一つの手法に集約されます。

この手法が各社の公式ドキュメントで一貫して推奨されている点も、その重要性を裏づけます。OpenAI・Anthropic・Perplexityはいずれも、自社ボットの説明の中で「User-Agentは詐称されうるため、正当性の確認には公開IP一覧を使うこと」を明示しています。つまり、IPレンジ検証は一部の上級者だけが使う特殊技法ではなく、AIボットを扱うなら基本として押さえるべき標準的な確認手順として位置づけられています。サーバーログでAIボットの訪問を数えて一喜一憂する前に、その数字がなりすましを含んでいないかをIPで裏づける——この一手間が、AI検索対策のデータを事実に基づいたものにします。

仕組み/二つの検証方

ボットが本物かを確かめる法は、大きく二つあります。各社の対応状況に応じて使い分けます。

  1. 公開IPレンジ照合: 各社が公開するJSON(gptbot.json等)を取得し、そこに列挙されたIPレンジに、ログの接続元IPが含まれるかを照合する
  2. 逆引き(reverse DNS)検証: 接続元IPからホスト名を引き(逆引き)、それが公式ドメイン(例:*.openai.com等)に解決されるかを確認し、さらにそのホスト名を順引きして元のIPに戻るかまで確かめる

公開IPレンジ照合は、各社が正規ボットのIPを一覧で公開しているからこそ成り立つ、明快な方法です。OpenAIはgptbot.json・searchbot.json・chatgpt-user.jsonといった用途別のファイルを、AnthropicはIP一覧を、Perplexityはperplexitybot.json等を公開しています。これらは更新されることがあるため、照合には最新のファイルを取得して使います。逆引き検証は、IPレンジの公開がない場合や、追加の裏づけが欲しい場合に使う伝統的な手法で、Googlebotの正当性確認などで古くから用いられてきた考え方です。

逆引き検証の手順を、もう少し丁寧に説明します。まず、ログに記録された接続元IPアドレスから、そのIPに割り当てられたホスト名(=サーバーの名前)を引きますこれが逆引き)。次に、そのホスト名が各社の公式ドメイン(たとえば末尾がopenai.com等)で終わっているかを確認します。ここで終わらず、さらにそのホスト名を今度は順引き(ホスト名からIPを引く)して、元のIPアドレスに戻るかまで確かめます。この「逆引き→ドメイン確認→順引きで一致」という双方向の照合を通すことで、ホスト名だけを偽装するようななりすましを排除できます。片方向だけでは偽装の余地が残るため、双方向の一致まで確認するのが正しい手順です。

主要各社の公開IPレンジ(検証用JSON)の
運営元ボット公開ファイルの
OpenAIGPTBotopenai.com/gptbot.json
OpenAIOAI-SearchBotopenai.com/searchbot.json
OpenAIChatGPT-Useropenai.com/chatgpt-user.json
AnthropicClaudeBot 等claude.com/crawling/bots.json
PerplexityPerplexityBotperplexity.com/perplexitybot.json

横にスクロールできます

具体例・検証の判定パターン

UAとIPレンジ照合の結果を組み合わせると、アクセスの正体を次のように判定できます。

UAとIP照合による判定
UA欄IPレンジ照合判定
GPTBotと名乗る公式レンジ内本物のGPTBot。正規のアクセスとして扱う
GPTBotと名乗る公式レンジ外詐称の疑い。なりすましとして扱いを検討
一般ブラウザを名乗るAI社の公式レンジ内UAを一般偽装した可能性。要精査
ボットと名乗らない公式レンジ外通常アクセスまたは正体不明。別途判断

横にスクロールできます

実務で最も重要なのは、上から二つ目の「GPTBotと名乗るが公式レンジ外」のパターンです。これは、UAだけを見ていたら本物として数えてしまうものを、IP照合によって「詐称の疑い」と正しく見抜けたケースです。この一行が示すとおり、公開IPレンジ検証の価値は、UAという自己申告の限界を、IPという事実で補正するところにあります。逆に一番上の「名乗りどおりレンジ内」であれば、本物として安心して正規の扱いをできます。

照合を仕組みとして組む際の勘所も押さえておきます。公開IPレンジのJSONは、CIDR表記(例:192.0.2.0/24)でIPの範囲を列挙しています。この範囲判定は、単純な文字列一致では行えず、IPアドレスを数値に変換して範囲内かを計算する必要があります。多くのログ解析基盤やプログラミング言語には、この「あるIPがCIDR範囲に含まれるか」を判定する機能が備わっているため、それを使って照合を自動化します。手作業で一件ずつ突き合わせるのは現実的でないため、ログの接続元IPを取り出し、最新のIPレンジJSONと機械的に照合する処理を、定期実行の形で組んでおくのが実務的です。この自動化があってこそ、日々のAIボット観測に検証を組み込めます。

この検証を組み込むと、AIボットの観測データの意味が一段深まります。単に「GPTBotが何回来た」と数えるだけでは、その中になりすましが混じっている可能性を排除できません。IP検証を通したうえで「本物のGPTBotが何回来た」と数えられれば、その数字はAI検索対策の判断材料として信頼できるものになります。たとえば施策の前後で本物のAIボットの訪問が増えたかを比較する、といった前後分析も、なりすましを除いた正確な数字でこそ意味を持ちます。IPレンジ検証は、地味な確認作業に見えて、AIボット観測というデータ全体の信頼性を底支えする工程であり、ここを省くと、その上に積み上げるあらゆる分析が砂上の楼閣になりかねません。

よくある誤解・注意点

  • UAは自己申告で詐称可能。名前だけで本物と判断してはいけない
  • 公開IPレンジは更新されます。固定した一覧を使い続けると誤判定する
  • すべてのボットがIPレンジを公開しているわけではありません。公開がない場合は逆引き等で補う
  • 検証(本物か)と(歓迎するか)は別。本物と確認しても、拒否する選択はありうる
  • 引きは、順引きで元のIPに戻るかまで確認しないと、偽装の余地が残る
  • IPアドレスは個人情報保護の観点で扱いに配慮が要ります。保存・処理の方針を定める

実務での扱い方(サイト運営者向けの手順)

  1. 公式JSONを取得する: 検証したいボットの公開IPレンジ(gptbot.json等)を最新版で取得する
  2. 接続元IPを照合する: サーバーログの接続元IPが、取得したレンジに含まれるかを機械的に照合する
  3. 逆引きで補う: IPレンジ公開がないボットは、逆引き→順引きの双方向確認で正当性を確かめる
  4. 判定を観測に反映する: 本物と確認できたボットだけを「正規のAIボット訪問」として集計する
  5. 出し分けに使う: ボット向けの特別扱いをする場合、UAでなくIP検証を通ったものだけに適用する
  6. 定期的に更新する: 公開IPレンジは変わるため、照合用データを定期取得し直す仕組みにする

ログにGPTBotと書いてあれば、本物のOpenAIのボットですか。

断定できません。User-Agentは自己申告で詐称が可能です。本物か確かめるには、OpenAIが公開するgptbot.jsonのIPレンジに接続元IPが含まれるかを照合します。名前だけでは判定材料になりません。

IPレンジのファイルは一度取得すれば使い続けてよいですか。

よくありません。公開IPレンジは各社が更新するため、古い一覧を使い続けると本物を偽物と誤判定します。照合は、最新のJSONを定期的に取得し直す形で運用してください。

IPレンジを公開していないボットはどう検証しますか。

逆引き(reverse DNS)を使います。接続元IPからホスト名を引き、それが公式ドメインに解決されるかを確認し、さらにそのホスト名を順引きして元のIPに戻るかまで確かめます。双方向の一致で偽装の余地を減らせます。

本物と確認できたボットは、必ず許可すべきですか。

いいえ。検証は「本物かどうか」を確かめるだけで、歓迎するかは別の判断です。本物と確認したうえで、学習系は拒否する、検索系は許可する、といった露出戦略に沿った針を別途決めます。

公開IPレンジのJSONと逆引きは、どちらを使えばよいですか。

公開IPレンジのJSON(gptbot.json等)があるボットは、それとの照合が最も明快で確実です。逆引き(reverse DNS)は、IPレンジを公開していないボットや、追加の裏づけが欲しい場合に補助として使います。両者は排他ではなく、公開JSONを主軸に、必要に応じて逆引きを併用するのが実務的な組み合わせです。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. OpenAI: OpenAIのボット(公開IPレンジによる検証の説明)(新しいタブで開く)https://platform.openai.com/docs/bots
  2. Anthropic: Anthropicのクローラー(IP一覧・検証)(新しいタブで開く)https://support.anthropic.com/en/articles/8896518
  3. Perplexity: PerplexityのボットとIPレンジ(PerplexityBot / Perplexity-User)(新しいタブで開く)https://docs.perplexity.ai/guides/bots

関連用語

ユーザーエージェント

ゆーざーえーじぇんと

HTTPリクエストでソフトが自己申告する名前。ブラウザとボットの見分けに使うが、詐称も可能。

サーバーログ

さーばーろぐ

Webサーバーが全アクセスを1行ずつ機械的に記録するファイル。AIクローラーの訪問はここでしか見えません。

robots.txt

ろぼっつてきすと

サイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。

AIボットの3分類

えーあいぼっとのさんぶんるい

AI関連のボットを「学習・収集系/回答・検索系/user-triggeredフェッチャー」の3つの機能で体系化する横断概念。どのボットがどれかを見分けることが、AI検索の実務の起点になります。

ClaudeBot

くろーどぼっと

Anthropic(対話型AI「Claude」を開発する企業)がモデル訓練用データを集めるために公開する学習・収集系クローラー。

PerplexityBot

ぱーぷれきしてぃぼっと

Perplexity(出典付きで回答するAI検索エンジンを運営する企業)が、回答の出典として表示する候補をインデックスするための検索系クローラー。

AIクローラー

えーあいくろーらー

生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。

GPTBot

じーぴーてぃーぼっと

OpenAIが公開・運用する学習・収集系クローラー。将来のモデル訓練データにするために公開Webを巡回します。ChatGPT検索の回答表示用OAI-SearchBotや、ユーザー起点取得のChatGPT-Userとは目的が別。

AI検索

エーアイけんさく

生成AIを使って答えを導く検索の総称。

Perplexity

ぱーぷれきしてぃ

Perplexity(ユーザーの質問に出典リンク付きで答えるAI検索エンジンを運営する企業・サービス)。回答本文に番号付きで引用元を明示する設計が特徴。

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編