GLOSSARY
OAI-SearchBot
OpenAIの
OAI-SearchBotとは 何か
OAI-SearchBotは、
サイト側から
AIボットの
なぜ重要か (AI検索での 位置づけ)
AI検索最適化
同時に
仕組み (UA文字列と robots.txt制御)
OAI-SearchBotの
| 観点 | GPTBot | OAI-SearchBot |
|---|---|---|
| 目的 | モデル訓練データの | ChatGPT検索の |
| 成果への | 遅効性・ | 近い |
| 拒否した | 学習に | ChatGPT検索回答に |
| robots.txtトークン | GPTBot | OAI-SearchBot |
横にスクロールできます
UA文字列は
robots.txtの
具体例・ データ
- UA検知の
手が かり:アクセスログの UA文字列に 「OAI-SearchBot」を 部分 一致で 含むかで 判別します。 robots.txt取得時は 目印が 足される 場合が あります。 - 検索露出を
止める 書き方 :robots.txtに 「User-agent: OAI-SearchBot」 → 「Disallow: /」で、 ChatGPT検索回答への 表示を 拒否できます。 - 露出と
学習の 分離:GPTBotを 拒否しつつOAI-SearchBotを 許可すれば、 「学習には 使わせないが 検索には 出す」が 成立します。 - 公式IPレンジ
照合:OpenAIは OAI-SearchBotの IP範囲を 機械可読ファイル (searchbot.json 等)で 公開。 UA照合だけでなく IP照合で 本物を 確認します。 - 反映の
時差:robots.txt更新から 検索露出への 反映まで、 おおむね1日程度の 時差が 生じます。 - 重複回避:GPTBotと
OAI-SearchBotの 両方を 許可している 場合、 片方の クロール結果を 両用途に 流用する ことがあります。
サーバーログ分析の
他社の
なぜ回答・検索系の
よく ある 誤解・ 注意点
実務での 扱い方
- 検索露出の
方針を 決める :ChatGPTの 回答経由で 来て ほしいなら、 OAI-SearchBotを 許可し、 公開IPレンジからの アクセスを 遮断しません。 - 学習と
分離して 設定する :学習に 使わせたくない 場合は GPTBotを 拒否し、 OAI-SearchBotは 許可のまま 残します (露出と 学習の 分離)。 - IPで
裏を 取る :OAI-SearchBotを 名乗る アクセスは、 OpenAI公式IPレンジ (searchbot.json 等)と 照合し、 詐称を 排除してから 遮断・許可を 判断します。 - ログで
UAを 分けて 集計する :OAI-SearchBotの 来訪を、 GPTBot・ChatGPT-Userと 分けて 数えます。 「回答検索」 「学習」 「ユーザー起点取得」を 混ぜません。 - 引用は
回答面で 測る :OAI-SearchBotの クロール量を 成果と 即断せず、 実際に ChatGPTの 回答へ 出典 表示されたかを 別途モニタリングで 確かめます。 - 反映の
時差を 織り 込む:robots.txtを 変えても 検索露出への 反映には 1日程度の 時差が あると 見込み、 直後の 挙動だけで 判断しません。
よく ある 質問 (FAQ)
OAI-SearchBotと GPTBotの 違いは 何ですか。
OAI-SearchBotは
なぜAI検索の 可視性では OAI-SearchBotが 最重要なのですか。
ここに
「クロールされた」と 「回答に 引用された」は 同じですか。
違います。
学習には 使わせず、 検索の 回答には 出したい 場合は どうしますか。
robots.txtで
OAI-SearchBotを 名乗る アクセスが 本物か、 どう 確かめますか。
UA文字列は
関連する出典
この記事の根拠にした一次情報(=発表元がみずから出している資料)です。
関連用語
AIクローラー
えーあいくろーらー生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。
GPTBot
じーぴーてぃーぼっとOpenAIが公開・運用する学習・収集系クローラー。将来のモデル訓練データにするために公開Webを巡回します。ChatGPT検索の回答表示用OAI-SearchBotや、ユーザー起点取得のChatGPT-Userとは目的が別。
ChatGPT-User
ちゃっとじーぴーてぃーゆーざーOpenAIが公開する、ChatGPT利用者がその場で指示したときにだけ発火してページを取りに行くユーザー起点フェッチャー。学習用のGPTBot・回答検索用のOAI-SearchBotとは目的が別。
PerplexityBot
ぱーぷれきしてぃぼっとPerplexity(出典付きで回答するAI検索エンジンを運営する企業)が、回答の出典として表示する候補をインデックスするための検索系クローラー。
robots.txt
ろぼっつてきすとサイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。
サーバーログ
さーばーろぐWebサーバーが全アクセスを1行ずつ機械的に記録するファイル。AIクローラーの訪問はここでしか見えません。
AI検索
エーアイけんさく生成AIを使って答えを導く検索の総称。
