AIボットの3分類

AIボットの3分類とは何か

AI検索の時代に入り、サイトへアクセスしてくるボットは「検索エンジンのクローラー」だけでなく、AIに関わる多種多様なボットへと広がりました。それらを名前ごとにバラバラに覚えるのは非効率で、しかも本質を見失います。そこで当ラボは、AI関連ボットを「機能」で3類型に束ねます。第一が学習・収集系（AI Data Scraper／AI Data Provider）で、モデル訓練用のデータや、第三者へ供給するデータを集めるボット。第二が回答・検索系（AI Search Crawler）で、AIの回答や検索結果に載せる候補をあらかじめ索引化するボット。第三がuser-triggeredフェッチャー（AI Agent／User-triggered Fetcher）で、ユーザーの個別指示に応じてその場で1〜数ページを取りに行く取得系です。OpenAI（オープンAI＝ChatGPTを開発する企業）やAnthropic（アンソロピック＝Claudeを開発する企業）が、用途ごとにボットを分けて公開しているのは、この3機能を反映したものです。

この枠組みの価値は、各ボットの「robots.txtの効き方」と「AI検索での意味」がこの3分類でおおむね決まる点にあります。学習・収集系はrobots.txtを尊重する前提のものが多く、拒否は「訓練データから除外してほしい」意思表示になります。回答・検索系も尊重する前提で、許可は「回答・検索結果に載る候補になる」ことを意味します。user-triggeredフェッチャーは、ユーザー本人の行為に近いため、robots.txtの一般ルールを必ずしも尊重しない設計のことがある——これはユーザーの閲覧そのものを止める取り決めではない、という考え方に基づきます。この違いを押さえると、後述の一覧表がそのまま実務の判断材料になります。

なぜ重要か（AI検索での位置づけ）

AI検索の可視化（＝生成AIの回答に自社が引用・参照されること）を測るとき、3分類は「入口」と「成果」を切り分けるためのものさしになります。学習・収集系のアクセスは長期的な認知の土台にはなり得ますが、いつ・どの回答に反映されるかは不透明で、リアルタイムの引用可視化とは結びつきません。回答・検索系は成果に一歩近く、索引化されれば回答・検索結果に載る候補になります。user-triggeredフェッチャーは、まさに“今このユーザーの質問”に使われるため、個別の露出に直結します。これらを混ぜてログを合計すると、たとえばアクセス量の主役になりやすいBytespider（学習・収集系）に全体が引きずられ、「AIからのアクセスが増えた＝AI検索で評価が上がった」と誤読してしまいます。当ラボが計測で3分類を分けているのは、この取り違えを構造的に防ぐためです。

3分類の一覧（機能・robots.txt・AI検索での意味）

代表ボット一覧（所有者・種別・robots尊重）

この2つの一覧表は、当用語ページを「地図」として使うための中核です。各ボットの詳細（正確なUA文字列・公式IPレンジ・拒否例・注意点）は、それぞれの個別用語ページに記載しています。まず所属会社と分類を上の表で当たりを付け、深掘りしたいボットの個別ページへ進む、という読み方を想定しています。なお表の「robots尊重」欄はあくまで各社の公表や第三者の分類にもとづく前提であり、Timpibotのように検証方法を公開していないものもあります。分類は判断の出発点であって、最終判断は必ず実測（ログ・IP・挙動）で裏を取ってください。

仕組み（UAとrobots.txtによる見分け方）

• UAで当たりを付ける：アクセスログのUA文字列に含まれるボット名（GPTBot / OAI-SearchBot / ClaudeBot / PerplexityBot 等）で、所有者と分類の見当をつけます。
• 分類でrobots.txtの効き方を読む：学習・収集系と回答・検索系は尊重する前提。user-triggeredフェッチャーは必ずしも尊重しないと理解します。
• IPレンジ・逆引きで裏を取る：主要ボットは所有者が公式IPレンジを機械可読ファイル（bots.json / searchbot.json 等）で公開しています。UA名の一致に加え、アクセス元IPが公式範囲か（または逆引きが公式ドメインに解決するか）で本物を確かめ、詐称を排除します。
• 成果は分類で分けて測る：学習・収集系の量は成果ではありません。回答・検索系の露出や実際の回答出典を、学習系と混ぜずに集計します。

具体例・データ

• 学習・収集系の例：GPTBot（OpenAIの訓練収集）、ClaudeBot（Anthropicの訓練収集）、Bytespider（ByteDanceの訓練収集・量が突出しやすい）、Diffbot／Timpibot／ImagesiftBot（第三者提供・分散型・画像収集）。
• 回答・検索系の例：OAI-SearchBot（ChatGPTの検索表示候補の索引化）、PerplexityBot（回答出典の索引化）、YouBot（You.comの検索・回答インデックス）。
• user-triggeredフェッチャーの例：ChatGPT-User、Perplexity-User、Diffbot-User（いずれもユーザー指示でその場取得。robots.txtの一般ルールを必ずしも尊重しない）。
• 詐称対策の実例：主要各社はIPレンジ（例 searchbot.json、bots.json）を公開しており、UA照合＋IP照合の二段で本物を確認するのが実務の定石。

よくある誤解・注意点

実務での扱い方

1. ログを3分類で仕分ける：まずアクセスログのボットを、学習・収集系／回答・検索系／user-triggeredフェッチャーの3つに分けて集計します。合算しません。
2. 方針を分類ごとに決める：学習・収集系は「訓練利用を許すか拒否するか」、回答・検索系は「露出を取りに行くか保護を優先するか」を、それぞれ別に判断します。
3. robots.txtを分類の理解に沿って書く：拒否したい学習系・回答系はUAごとに `Disallow` を明記します。user-triggeredフェッチャーはrobots.txtだけでは止まらない前提で設計します。
4. IPで裏を取る：重要な遮断・許可は、UA名でなく公式IPレンジ照合・逆引きで詐称を排除してから決めます。
5. 成果は回答系で測る：AI検索の可視化は、学習系の量ではなく、回答・検索系の露出と実際の回答出典のモニタリングで評価します。

よくある質問（FAQ）