GLOSSARY
公開IPレンジ検証
UA詐称に
公開IPレンジ検証とは、
公開IPレンジ検証とは (正確な 定義)
この
そこで
なぜ重要か (AI検索での 位置づけ)
AI検索対策では、
とりわけ重要なのが、
もう
この
仕組み/ 二つの 検証方 法
ボットが
- 公開IPレンジ照合: 各社が
公開する JSON (gptbot.json等)を 取得し、 そこに 列挙された IPレンジに、 ログの 接続元IPが 含まれるかを 照合する - 逆引き
(reverse DNS) 検証: 接続元IPから ホスト名を 引き (逆引き)、 それが 公式ドメイン (例:*.openai.com等)に 解決されるかを 確認し、 さらに その ホスト名を 順引きして 元の IPに 戻るかまで 確かめる
公開IPレンジ照合は、
逆引き検証の
| 運営元 | ボット | 公開ファイルの |
|---|---|---|
| OpenAI | GPTBot | openai.com/gptbot.json |
| OpenAI | OAI-SearchBot | openai.com/searchbot.json |
| OpenAI | ChatGPT-User | openai.com/chatgpt-user.json |
| Anthropic | ClaudeBot 等 | claude.com/crawling/bots.json |
| Perplexity | PerplexityBot | perplexity.com/perplexitybot.json |
横にスクロールできます
具体例・検証の 判定パターン
UAと
| UA欄 | IPレンジ照合 | 判定 |
|---|---|---|
| GPTBotと | 公式レンジ内 | 本物の |
| GPTBotと | 公式レンジ外 | 詐称の |
| 一般ブラウザを | AI社の | UAを |
| ボットと | 公式レンジ外 | 通常アクセスまたは |
横にスクロールできます
実務で
照合を
この
よく ある 誤解・ 注意点
- UAは
自己申告で 詐称可能。 名前だけで 本物と 判断してはいけない - 公開IPレンジは
更新されます。 固定した 一覧を 使い続けると 誤判定する - すべての
ボットが IPレンジを 公開しているわけでは ありません。 公開が ない 場合は 逆引き等で 補う - 検証
(本物か)と 方 針 (歓迎するか)は 別。 本物と 確認しても、 拒否する 選択は ありうる - 逆
引きは、 順引きで 元の IPに 戻るかまで 確認しないと、 偽装の 余地が 残る - IPアドレスは
個人情報保護の 観点で 扱いに 配慮が 要ります。 保存・処理の 方針を 定める
実務での 扱い方 (サイト運営者向けの 手順)
- 公式JSONを
取得する : 検証したい ボットの 公開IPレンジ (gptbot.json等)を 最新版で 取得する - 接続元IPを
照合する : サーバーログの 接続元IPが、 取得した レンジに 含まれるかを 機械的に 照合する - 逆引きで
補う : IPレンジ公開が ない ボットは、 逆引き→順引きの 双方 向確認で 正当性を 確かめる - 判定を
観測に 反映する : 本物と 確認できた ボットだけを 「正規の AIボット訪問」と して 集計する - 出し分けに
使う : ボット向けの 特別扱いを する 場合、 UAでなく IP検証を 通った ものだけに 適用する - 定期的に
更新する : 公開IPレンジは 変わる ため、 照合用データを 定期取得し直す仕組みに する
ログに GPTBotと 書いて あれば、 本物の OpenAIの ボットですか。
断定できません。
IPレンジの ファイルは 一度 取得すれば 使い続けて よいですか。
よく
IPレンジを 公開していない ボットは どう 検証しますか。
逆引き
本物と 確認できた ボットは、 必ず許可すべきですか。
いいえ。
公開IPレンジの JSONと 逆引きは、 どちらを 使えば よいですか。
公開IPレンジの
関連する出典
この記事の根拠にした一次情報(=発表元がみずから出している資料)です。
関連用語
ユーザーエージェント
ゆーざーえーじぇんとHTTPリクエストでソフトが自己申告する名前。ブラウザとボットの見分けに使うが、詐称も可能。
サーバーログ
さーばーろぐWebサーバーが全アクセスを1行ずつ機械的に記録するファイル。AIクローラーの訪問はここでしか見えません。
robots.txt
ろぼっつてきすとサイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。
AIボットの3分類
えーあいぼっとのさんぶんるいAI関連のボットを「学習・収集系/回答・検索系/user-triggeredフェッチャー」の3つの機能で体系化する横断概念。どのボットがどれかを見分けることが、AI検索の実務の起点になります。
ClaudeBot
くろーどぼっとAnthropic(対話型AI「Claude」を開発する企業)がモデル訓練用データを集めるために公開する学習・収集系クローラー。
PerplexityBot
ぱーぷれきしてぃぼっとPerplexity(出典付きで回答するAI検索エンジンを運営する企業)が、回答の出典として表示する候補をインデックスするための検索系クローラー。
AIクローラー
えーあいくろーらー生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。
GPTBot
じーぴーてぃーぼっとOpenAIが公開・運用する学習・収集系クローラー。将来のモデル訓練データにするために公開Webを巡回します。ChatGPT検索の回答表示用OAI-SearchBotや、ユーザー起点取得のChatGPT-Userとは目的が別。
AI検索
エーアイけんさく生成AIを使って答えを導く検索の総称。
Perplexity
ぱーぷれきしてぃPerplexity(ユーザーの質問に出典リンク付きで答えるAI検索エンジンを運営する企業・サービス)。回答本文に番号付きで引用元を明示する設計が特徴。
