本文へスキップ

GLOSSARY

OAI-SearchBot

OpenAIの回答・検索系クローラー。ChatGPTの検索機能で参照先(出典)を表示するために使います。学習用GPTBotとは目的が別で、AI検索の可視性ではここが最重要。ここに取得・索引されることが「ChatGPTの回答に載る」に最も近いです。

おーえーあいさーちぼっと11分で読めます

OAI-SearchBotとは何か

OAI-SearchBotは、OpenAIが「回答・検索」のために動かすクローラーです。ChatGPTには、質問に答えるとき外部のWeb情報を検索して出典付きで示す検索機能があり、その回答に出す参照先の候補を、あらかじめ集めて索引化しておくのがOAI-SearchBotの仕事です。学習・収集専任のGPTBotが「将来のモデルの中身に溶け込ませる」ための収集であるのに対し、OAI-SearchBotは「いまの回答に出典として表示する」ための収集で、成果への距離が近いのが特徴です。

サイト側から見ると、OAI-SearchBotはHTTPリクエストのUA文字列に「OAI-SearchBot」を含めて来訪します(バージョン番号を伴うことがあります)。加えて、robots.txtを取りに来るときには、他のリソース取得と区別しやすいように「robots.txt」を示す目印をUAに足す場合があります。これはログにパス情報が残らないサイトでも、robots.txtへのアクセスかどうかを運営者が見分けやすくするための配慮です。

AIボットの「3分類」で言えば、OAI-SearchBotは(2)回答・検索系の代表格です。(1)学習・収集系=GPTBot、(2)回答・検索系=OAI-SearchBot、(3)ユーザー起点フェッチャー=ChatGPT-User。この3つはいずれもOpenAIのボットですが、目的も、robots.txtでの可否指定も別々です。AI検索の可視性を測るうえで、この3分類を混同しないことが出発点になります。

なぜ重要か(AI検索での位置づけ)

AI検索最適化(AIO/GEO=生成AIに引用・参照されやすくする対策)で、OAI-SearchBotが最重要とされるのは、ここに取得・索引されることが「ChatGPTの検索回答に出典として表示される」ことに最も近いからです。OpenAIの公式説明によれば、OAI-SearchBotをオプトアウト(拒否)したサイトはChatGPTの検索回答に表示されなくなります。したがって、AIの回答経由で自社に来てほしい事業者にとって、OAI-SearchBotを許可し、正当なIPレンジからのアクセスを通すことは、検索露出の前提条件になります。

同時に押さえるべきは「クロールされた≠回答に引用された」という区別です。OAI-SearchBotに索引化されることは、回答の出典候補になるための必要条件にすぎず、実際に個々の質問で自社ページが出典として選ばれるかは、内容の関連性・信頼性・鮮度など別の要因で決まります。索引化された事実だけを成果と受け取ると、実際の引用実績を過大評価します。当ラボの引用計測(=AIの回答に誰が引用されたかを継続測定する研究)でも、OAI-SearchBotのクロールと、実際の回答引用は別指標として分けて扱っています。

仕組み(UA文字列とrobots.txt制御)

OAI-SearchBotの判別は、UA文字列に「OAI-SearchBot」が含まれるかで行います。robots.txtでの制御は、対象UA名を指定してから可否を書く形で、検索露出を止めたいなら「User-agent: OAI-SearchBot」「Disallow: /」と書きます。逆に検索に出したいなら、OAI-SearchBotを許可し、後述の公式IPレンジからのアクセスをファイアウォール等で遮断しないようにします。OpenAIは、検索結果に確実に出すためにOAI-SearchBotをrobots.txtで許可し、公開IPレンジからのリクエストを通すことを推奨しています。

同じOpenAIのボットでも、学習用GPTBotと検索露出用OAI-SearchBotは目的も成果への距離も別。設定は独立して指定できます。
観点GPTBot(学習)OAI-SearchBot(検索露出)
目的モデル訓練データの収集ChatGPT検索の出典候補を索引化
成果への距離遅効性・不透明(将来の背景知識)近い(回答の出典表示に直結)
拒否したときの影響学習に使われなくなるChatGPT検索回答に表示されなくなる
robots.txtトークンGPTBotOAI-SearchBot

横にスクロールできます

UA文字列は詐称可能なため、本人確認にはIPレンジ照合が要になります。OpenAIはOAI-SearchBotの正当なアクセス元IPアドレス範囲を機械可読ファイル(一般に searchbot.json 等の形で配布)で公開しており、UA名が「OAI-SearchBot」であっても、アクセス元IPがこの公式範囲に入っていなければ本物ではないと判定できます。UA名照合とIPレンジ照合をセットにするのが、詐称を排した正確な検知の基本です。

robots.txtの反映には時差があります。OpenAIの説明によれば、サイトのrobots.txtを更新してから検索系の露出設定に反映されるまで、システム側の調整におおむね1日程度かかります。したがって「検索露出を許可に変えた直後にChatGPTの回答へ出てこない」からといって設定ミスと即断せず、反映の時差を織り込んで観察するのが妥当です。

具体例・データ

  • UA検知の手がかり:アクセスログのUA文字列に「OAI-SearchBot」を部分一致で含むかで判別します。robots.txt取得時は目印が足される場合があります。
  • 検索露出を止める書き方:robots.txtに「User-agent: OAI-SearchBot」「Disallow: /」で、ChatGPT検索回答への表示を拒否できます。
  • 露出と学習の分離:GPTBotを拒否しつつOAI-SearchBotを許可すれば、「学習には使わせないが検索には出す」が成立します。
  • 公式IPレンジ照合:OpenAIはOAI-SearchBotのIP範囲を機械可読ファイル(searchbot.json 等)で公開。UA照合だけでなくIP照合で本物を確認します。
  • 反映の時差:robots.txt更新から検索露出への反映まで、おおむね1日程度の時差が生じます。
  • 重複回避:GPTBotとOAI-SearchBotの両方を許可している場合、片方のクロール結果を両用途に流用することがあります。

サーバーログ分析の観点では、OAI-SearchBotの来訪は「ChatGPT検索の出典候補として索引化されにきた回数」の目安になります。ただしこれをそのまま「ChatGPTの回答に載った回数」と読むのは誤りです。索引化の頻度が高いことは候補入りの機会が多いことを示しますが、実際に回答へ引用されたかは、回答面での観測(=実際にどの質問でどのサイトが出典表示されたかを別途測ること)でしか分かりません。ログ上のクロール量と回答面での引用量は、必ず別指標として扱うのが原則です。

他社の回答・検索系ボットと並べると、OAI-SearchBotの位置づけがより鮮明になります。Perplexity(パープレキシティ=出典付きで回答するAI検索エンジンを運営する企業)のPerplexityBotも、AIの回答に出典として表示する候補を索引化する回答・検索系という同じ系統に属します。これら回答・検索系は、学習・収集系(GPTBotやClaudeBotなど)と違い、「いまの回答に出典として出す」ことに直結するため、AI検索の可視性を追う事業者にとっては最優先の観測対象になります。当ラボの引用計測(=AIの回答に誰が引用されたかを継続測定する研究)でも、回答・検索系ボットのクロールと、実際の回答面での引用は明確に分けて記録し、「クロールされた候補の数」と「回答で選ばれた実績の数」の乖離そのものを、コンテンツの関連性・信頼性の改善余地を測る手がかりにしています。

なぜ回答・検索系のクロールと実際の引用がずれるのか——理由を丁寧に押さえておくと、施策の打ち手が具体的になります。OAI-SearchBotが索引化するのは、あくまで「回答に出せる候補のプール(=母集団)」です。実際にある質問へ回答するとき、ChatGPTはその質問との関連性、情報の信頼性、記述の鮮度、出典としての適切さなどを総合して、候補の中から実際に提示するページを選びます。つまり索引化は入場券であって、当選ではありません。したがって、OAI-SearchBotに数多くクロールされているのに回答にほとんど出てこない場合、原因はクロール不足ではなく、コンテンツ側の関連性・信頼性・具体性・一次情報性(=自ら確かめた事実に基づく記述であること)の弱さにある可能性が高い、と診断できます。クロール量ではなく回答面の引用実績を軸に改善点を探すのが、AI検索最適化での正しい向き合い方です。

よくある誤解・注意点

実務での扱い方

  1. 検索露出の方針を決める:ChatGPTの回答経由で来てほしいなら、OAI-SearchBotを許可し、公開IPレンジからのアクセスを遮断しません。
  2. 学習と分離して設定する:学習に使わせたくない場合はGPTBotを拒否し、OAI-SearchBotは許可のまま残します(露出と学習の分離)。
  3. IPで裏を取る:OAI-SearchBotを名乗るアクセスは、OpenAI公式IPレンジ(searchbot.json 等)と照合し、詐称を排除してから遮断・許可を判断します。
  4. ログでUAを分けて集計する:OAI-SearchBotの来訪を、GPTBot・ChatGPT-Userと分けて数えます。「回答検索」「学習」「ユーザー起点取得」を混ぜません。
  5. 引用は回答面で測る:OAI-SearchBotのクロール量を成果と即断せず、実際にChatGPTの回答へ出典表示されたかを別途モニタリングで確かめます。
  6. 反映の時差を織り込む:robots.txtを変えても検索露出への反映には1日程度の時差があると見込み、直後の挙動だけで判断しません。

よくある質問(FAQ)

OAI-SearchBotとGPTBotの違いは何ですか。

OAI-SearchBotはChatGPTの検索回答に出典として表示する候補を索引化する回答・検索系で、成果への距離が近いボットです。GPTBotは将来のモデル訓練データを集める学習・収集系で、遅効性の土台づくりです。robots.txtで別々に可否指定でき、片方を拒否しても他方は独立に許可・拒否できます。

なぜAI検索の可視性ではOAI-SearchBotが最重要なのですか。

ここに取得・索引されることが、そのまま「ChatGPTの検索回答に出典として表示される」入口に最も近いからです。OpenAIの説明でも、OAI-SearchBotをオプトアウトしたサイトはChatGPTの検索回答に表示されなくなります。

「クロールされた」と「回答に引用された」は同じですか。

違います。クロール(索引化)は出典候補になるための必要条件にすぎず、実際に個々の回答で選ばれるかは内容の関連性・信頼性・鮮度などで決まります。クロール量と引用量は別指標として測ります。

学習には使わせず、検索の回答には出したい場合はどうしますか。

robots.txtでGPTBotを拒否(User-agent: GPTBot → Disallow: /)し、OAI-SearchBotは許可のまま残します。設定は互いに独立なので、検索露出と学習オプトアウトを分離して指定できます。

OAI-SearchBotを名乗るアクセスが本物か、どう確かめますか。

UA文字列は詐称できるため、OpenAIが公開する正当なIPアドレス範囲の機械可読ファイル(searchbot.json 等)とアクセス元IPを照合します。UA名と公式IPレンジの両方が一致して初めて本物と判断します。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. OpenAI: OpenAIのボット(GPTBot / OAI-SearchBot / ChatGPT-User)(新しいタブで開く)https://platform.openai.com/docs/bots

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編