ClaudeBot

ClaudeBotとは何か

ClaudeBotは、Anthropicが「モデル開発（訓練）」のために公開Webを巡回させる学習・収集系クローラーです。Anthropicは透明性と選択肢の提供を掲げ、用途ごとに複数のロボットを使い分けています。具体的には、(1) モデル訓練に使えるコンテンツを集める収集系（＝ClaudeBot）、(2) Claudeがユーザーの質問に答えるためWebを検索する検索系、(3) ユーザーが特定URLを指定したときにその場でページを取りに行く取得系（user-triggered fetch＝ユーザー起点の取得）、の3系統です。この3分類を押さえると、後述の「量と可視化の混同」を避けやすくなります。

サイト側から見ると、ClaudeBotはHTTPリクエストのUA文字列に「ClaudeBot」を含めて来訪します。したがって運営者は、アクセスログ（＝サーバーが記録する来訪履歴）でこの名前を数えれば、Anthropicの訓練用収集がどれだけ自サイトに来ているかを把握できます。逆に言えば、robots.txtにClaudeBot向けの拒否ルールを書けば、以後の自サイト素材を「訓練データから除外してほしい」という意思表示として機能させられます。Anthropicの公式説明も、ClaudeBotをrobots.txtで制限することは「将来の素材を訓練データセットから除外する合図になる」と述べています。

ClaudeBotの分類（カテゴリ）は「AI Data Scraper（＝AIモデルの訓練用データセットに含めるためWebコンテンツをダウンロードするボット）」で、robots.txtに従うことが期待される（Expected to follow robots.txt: Yes）タイプに位置づけられます。第三者の横断観測サービスもClaudeBotをこのカテゴリで扱っており、GPTBot（＝OpenAIの学習系クローラー）やBytespider（＝ByteDanceの学習系クローラー）と同じ「訓練データ収集」の系統として並びます。裏を返せば、robots.txtが効くタイプなので、運営者の意思表示（許可・拒否）が素直に反映されやすい相手だ、ということでもあります。

UA文字列の読み方

UA文字列（＝アクセス元が自分を名乗る識別子）は、ただ全体を眺めるのではなく「どのトークン（＝空白や記号で区切られた語）で判別すべきか」を決めて読むのがコツです。ClaudeBotの場合、判別の主役は文字列中に含まれる「ClaudeBot」という語です。バージョン番号（例：`ClaudeBot/1.0`）や、名乗りの末尾に付く連絡・説明用URL（Anthropicのクローラー案内ページへの `+http…` 形式のリンク）が併記されることもありますが、これらは補助情報で、判別の軸はあくまで「ClaudeBot」という語の有無です。ログ集計では、この語の部分一致（substring match＝文字列の一部として含まれるか）で拾うのが実務的です。バージョンや付随URLの表記は将来変わり得るため、そこに依存した完全一致で組むと取りこぼします。

なぜ重要か（AI検索での位置づけ）

AI検索の可視化（＝生成AIの回答に自社が引用・参照されること）を測るうえで、ClaudeBotは「入口の一部だが、成果の証明ではない」立ち位置です。訓練データに入ることは長期的な認知の土台にはなり得ますが、いつ・どの回答に反映されるかは不透明で、リアルタイムの引用可視化とは結びつきません。回答画面での露出を測りたいなら、検索系・取得系ボットのアクセスや、実際の回答出典のモニタリングを見るべきです。当ラボが引用計測（＝AIの回答に誰が引用されたかを継続測定する研究）で学習系と回答系を厳密に分けているのも、この理由からです。

仕組み（3系統の使い分け）

注意したいのは取得系（user-triggered fetch）です。ユーザーが「このURLを読んで」と指示したときの取得は、自動巡回ではなくユーザー個人の行為に近いため、robots.txtの一般ルールを必ずしも尊重しない設計になっていることがあります。これはGoogleなど他社のフェッチャー（＝ユーザー指示で単発取得するプログラム）にも共通する考え方で、「robots.txtは自動クローラー向けの取り決めであって、ユーザー本人の閲覧を止めるものではない」という前提に立っています。

具体例・データ

• UA検知の手がかり：アクセスログのUA文字列に「ClaudeBot」を含むかで判別します（部分一致で拾います）。
• robots.txtでの拒否例：`User-agent: ClaudeBot` の行に続けて `Disallow: /` を書くと全体を拒否できます（一部だけなら `/` を対象パスに変えます）。
• 公式IPレンジ照合：Anthropicは自社ボットのIPアドレス範囲を機械可読ファイル（一般に bots.json 等の形で公開）で提供しており、UA名を照合するだけでなくアクセス元IPが公式範囲に入るかを確かめると、なりすまし（UA詐称）を排除できます。
• 逆引きDNS（＝IPアドレスからホスト名を引く確認手順）での本物判定：疑わしいアクセスは、そのアクセス元IPを逆引きしてAnthropicのドメイン配下（正規のホスト名）に解決されるか、さらにそのホスト名を正引き（＝ホスト名からIPへ）し直して元IPに戻るか（forward-confirmed reverse DNS＝順引き逆引きの往復一致）を確かめると、UA詐称を高い確度で排除できます。公式IPレンジ照合と併用するのが堅いです。
• 一部だけ許可・拒否する例：サイト全体でなく特定ディレクトリだけ拒否したいなら、`User-agent: ClaudeBot` の行の後に `Disallow: /members/`（＝会員向けページ配下を除外）のようにパスを指定します。逆に、全体を拒否しつつ一部だけ通したいなら `Disallow: /` と `Allow: /blog/` を併記します（クローラーは一般に、より長く具体的なパス指定を優先します）。

よくある誤解・注意点

実務での扱い方

1. まず方針を決める：訓練データに使われることを「認知の土台」として許すか、「無断学習は拒否」の立場で止めるか、自社の考えを明確にします。
2. robots.txtを整える：拒否するなら `User-agent: ClaudeBot` に `Disallow:` を書きます。古い anthropic-ai / Claude-Web の行しか無いなら現行名へ更新します。
3. ログでUAを集計する：ClaudeBotの来訪回数を、検索系・取得系や他社ボットと分けて数え、「学習系」と「回答系」を混ぜない集計にします。
4. IPで裏を取る：多量アクセスや不審な挙動があれば、UA名だけで判断せず公式IPレンジと照合し、詐称を除外します。
5. 可視化は別指標で測る：AI検索での引用露出は、ClaudeBotの数ではなく回答出典のモニタリングで評価します。

ブロックの是非（トレードオフ）

ClaudeBotを拒否すべきか許可すべきかは、二者択一で決めつけず、自社のコンテンツ価値とサーバー負荷、そして中長期の認知戦略のバランスで判断します。拒否する側のメリットは、無断学習を避けられること・帯域（＝通信量）やサーバー負荷を減らせることです。一方の許可する側のメリットは、Claudeという広く使われる対話型AIの土台に自社の知見が取り込まれ、長期的にはブランドや専門性の「認知の土台」になり得ることです。ただし、ここで重要なのは、ClaudeBotは学習・収集系であって、拒否・許可のどちらを選んでも「Claudeの回答画面に出典として載るか」は直接は動かない、という点です。回答での露出は検索系・取得系ボットと、実際の回答出典モニタリングが担います。したがって「回答に載りたいからClaudeBotを許可する」という発想は筋がずれています。判断軸は、あくまで「訓練データに使われることを許容するか／負荷をどう見るか」に置くのが正しい整理です。

当ラボのサーバーログ観測での見え方も付け加えておきます。ClaudeBotの来訪は、Bytespider（＝ByteDanceの学習系）のような突出した大量アクセスにはなりにくく、比較的落ち着いた頻度で現れる傾向があります。ログ上は「ClaudeBot」というUA語で素直に拾え、バージョンや付随URLの表記ゆれはあっても部分一致で安定して集計できます。重要なのは、この学習系の来訪回数を、回答・検索系ボットの数字と同じ列に混ぜて「AI経由のアクセスが増えた」と一括りにしないこと。学習系（訓練収集）と回答系（出典掲載）を別の指標として並べて初めて、数字が意味を持ちます。

よくある質問（FAQ）