CCBot

CCBotとは何か

CCBotは、非営利団体Common Crawlが運用する学習・収集系のクローラーです。Common Crawlの使命は、本来なら大企業しか持てない「Web全体のスナップショット（＝ある時点のWebを丸ごと写し取ったデータ）」を、誰でも無償で使える公共財として提供することにあります。CCBotが巡回して集めたHTMLやテキストは、月ごとの公開データセットとしてまとめられ、クラウド上（Amazonのオープンデータ基盤など）に置かれて自由にダウンロードできます。研究・機械学習・言語解析など用途は幅広く、そのなかでも近年もっとも影響が大きいのが大規模言語モデルの事前学習（＝モデルに大量の文章を読ませて言語の統計的パターンを覚えさせる工程）への利用です。

データはWARC（ウォーク＝取得したHTTP通信の生データをそのまま保存する形式）、WAT（ページのメタ情報を抽出した形式）、WET（本文テキストだけを抜き出した形式）という3種類のファイル群で配布されます。AI開発者の多くは、このうち本文テキスト中心のデータをフィルタリング（＝重複・低品質・不適切な文書を除去する前処理）したうえで学習に使います。有名な学習データセット「C4」や、その後継の各種Webコーパス（＝大規模な文章の集まり）も、元をたどればCommon Crawlのアーカイブから作られています。つまりCCBotは、生成AI業界の「共有の井戸」を掘り続ける存在だと言えます。

サイト側から見ると、CCBotはHTTPリクエストのUA文字列に「CCBot/2.0（末尾にCommon CrawlのFAQへのURLを含む）」を名乗って来訪します。したがって運営者はアクセスログ（＝サーバーが記録する来訪履歴）でこの名前を数えれば、Common Crawlの収集がどれだけ自サイトに来ているかを把握できます。Common CrawlはCCBotがrobots.txtを尊重する設計であると明言しており、拒否ルールを書けば以後の収集対象から外れます。ただし「すでに過去のアーカイブに取り込まれた分」は公開データセットとして流通し続けるため、拒否は将来分にのみ効く、という時間的な性質を理解しておく必要があります。過去に公開されたアーカイブを後から回収・削除する仕組みは基本的に無い、という前提で方針を決めるべきです。

なぜ重要か（AI検索での位置づけ）

AI検索最適化（AIO／GEO＝生成AIに引用・参照されやすくする対策）を考えるとき、CCBotは「入口の中でも最上流」に位置します。多くのAIが直接自前で巡回するのではなく、Common Crawlの公開アーカイブを訓練データとして取り込むため、CCBotに収集されることは「複数の下流AIの学習素材候補に入る」ことを意味します。逆に言えば、CCBotをブロックすると、Common Crawl経由でデータを得ている広範なAI開発から自サイトが一括で外れる可能性があります。これは「無断学習を拒否したい」立場では強力な一手ですが、「AIに認知されて長期的に引用されたい」立場では機会損失にもなり得る——という両面の判断が必要です。

ここで重要なのは、CCBotが「回答・検索系」ボット（Bingbot、Googlebotのように検索結果や生成AI回答へ直接つながるもの）とはレイヤー（層）が違う、という点です。CCBotの働きは「学習素材を集めて公開データにする」ところで完結し、そのデータが実際にどのAIの、どの回答に、いつ反映されるかはCommon Crawl自身は関与しません。したがって「CCBotに来られたから、もうすぐAIの回答に出るはずだ」という因果は成立しません。学習データへの取り込みは、長い時間軸で認知の土台になり得る間接的な要素であり、短期の可視化指標としては使えない——この時間軸の違いを、施策の効果測定で取り違えないことが肝心です。

仕組み（UA・robots.txt）

• UAの手がかり：アクセスログのUA文字列に「CCBot/2.0」を含むかで判別します（末尾に https://commoncrawl.org/faq/ 等のURLが付きます）。
• robots.txtでの拒否例：`User-agent: CCBot` の行に続けて `Disallow: /` を書くとサイト全体を収集対象から外せます（一部だけなら `/` を対象パスに変えます）。
• クロール頻度：Common Crawlの収集は月次アーカイブに向けて行われるため、日々の検索インデックス用クローラーほど高頻度ではないことが多いです。
• 公式IPレンジ照合：UA名は詐称できるため、Common Crawlが公開するアクセス元情報（クラウド事業者のIP範囲や逆引きホスト名）と照合して本物か裏を取るのが安全。

他社の自前クローラーとの関係も押さえておきましょう。GPTBot（OpenAIの学習用）、ClaudeBot（Anthropicの学習用）、Amazonbot（Amazonの学習にも使われ得る収集）などは、各社が独自に運用する別のボットで、Common CrawlやCCBotとは無関係に動きます。そのため「CCBotだけ拒否すれば全AIの学習を止められる」わけではなく、逆に「CCBotを許可しているから各社が必ずCommon Crawl経由で自サイトを使う」わけでもありません。AI各社は、Common Crawlを使うか自前クロールするかを個別に選びます。学習拒否を徹底したいなら、CCBotに加えて各社の学習系ボットも個別にrobots.txtで扱う必要があります。

具体例・データ

• UA実例：`CCBot/2.0 (https://commoncrawl.org/faq/)`。ログでこの文字列を部分一致で拾えば来訪回数を集計できます。
• データ形式：WARC（生の通信データ）／WAT（メタ情報）／WET（本文テキスト）の3種で月次配布されます。学習にはWET（本文）が使われることが多いです。
• 学習源としての規模感：OpenAIのGPT-3論文（2020年）が公開した学習データの内訳では、学習中に使われる事例の60%がCommon Crawl由来でした。近年のモデルの内訳は各社とも非公表。
• 拒否の実務：robots.txtでCCBotをDisallowにしても、過去に取り込まれ公開済みのアーカイブは流通を続けます。効果は「今後の収集分」に限られます。
• 各社ボットとの独立性：GPTBot・ClaudeBot・Amazonbot等はCCBotとは別運用。CCBot拒否だけでは各社の自前学習は止まりません。

よくある誤解・注意点

実務での扱い方

1. まず立場を決める：Common Crawl経由の広範な学習利用を「認知の土台」として許すか、「無断学習は拒否」で止めるか、自社方針を明確にします。
2. robots.txtを整える：拒否するなら `User-agent: CCBot` に `Disallow:` を書きます。他のAI学習系ボットの扱いと方針を揃えます。
3. ログでUAを集計する：CCBotの来訪回数を、回答・検索系ボット（Bingbot等）や他の学習系と分けて数え、「学習系」と「回答系」を混同しません。
4. IPで裏を取る：不審な多量アクセスは、UA名だけで判断せずアクセス元IP・逆引きと照合し、詐称を除外します。
5. 可視化は別指標で測る：AI検索での実際の引用露出は、CCBotの数ではなく回答出典のモニタリングで評価します。

3分類のどこに当たるか

AI関連のボットは大きく3つに分けて考えると整理しやすくなります。(1) 学習・収集系（モデル訓練用にデータを集める）、(2) 回答・検索系（検索索引やAIの回答生成に直接つながる）、(3) user-triggeredフェッチャー（ユーザーの操作を起点にその場でページを取る）です。CCBotはこのうち(1)学習・収集系の典型で、しかも「単一AIのための収集」ではなく「多数のAIが共有する公開アーカイブのための収集」という、もっとも上流の一次収集者にあたります。この位置づけを地図の上に置いておくと、後述の他ボットとの違いが一目で分かります。

当ラボがAI検索の可視化を測定する際、CCBotのような学習・収集系ボットのアクセスは「回答・検索系」とは別カテゴリーで集計します。理由は繰り返しになりますが、両者が示す意味がまったく違うからです。学習・収集系の来訪は「将来AIに認知される可能性がある土台づくり」を、回答・検索系の来訪は「いま検索やAI回答へ反映される索引づくり」を示します。この2つを合算した「クローラー来訪総数」という指標には意味がありません。むしろ、学習系と回答系を分けて時系列で追い、さらに実際のAI回答での引用出典を別途モニタリングして初めて、施策が可視化に効いているかを正しく評価できます。CCBotの数字は、この分解した集計の中で「学習素材化の目安」として読むのが正しい使い方です。

よくある質問（FAQ）