Claude-Web / anthropic-ai

Claude-Web / anthropic-aiとは何か

Claude-Webとanthropic-aiは、Anthropicに関連する旧いUAトークン名です。生成AIのクローラーがまだ整理されていなかった時期に、ボット一覧やrobots.txtの解説記事でこれらの名前が「Anthropic系を止めるための対象」として広く紹介されました。しかし現在、Anthropicの公式クローラー説明はこれらを掲載しておらず、現役のUA名は別に定義されています。Dark Visitorsのような第三者データベースも、Claude-Web／anthropic-aiを「Undocumented（未文書化）」区分に置き、公式に裏付けられた現行ボットとは区別しています。

したがって、これらの名前は「現在アクティブに巡回している制御対象」というより、「AIクローラー黎明期の名残」として扱うのが正確です。実務でこの名前に出会うのは、たいてい古いブログ記事のrobots.txtサンプル、あるいは長年更新されていないサイトのrobots.txtの中です。名前としては覚えておく価値がありますが、現行の対策の主役にしてはいけません。

なぜ重要か（歴史的名称を正しく扱う理由）

AI検索の可視化やコンテンツ保護の実務で、旧名の存在を知っておくことは「誤った安心」を避けるために重要です。「うちはanthropic-aiをrobots.txtでブロック済みだからClaudeの学習には使われない」という思い込みは危険で、実際にはClaudeBotが別名で巡回している可能性があります。当ラボがAIボットを分類・計測するとき、現行の公式UA（ClaudeBot／Claude-SearchBot／Claude-User）と、Claude-Web／anthropic-aiのような歴史的・未文書化の名前を明確に切り分けているのは、この取り違えを防ぐためです。旧名は「効かないブロック」を生みやすく、対策の抜け穴になります。

ここで、AIボットを扱う土台となる「3分類」を旧名の文脈でも押さえておきます。AI関連ボットは目的で3種に分かれます。(1) 学習・収集系＝モデルの訓練データにするために公開Webを集めるもの。(2) 回答・検索系＝AIが回答する際に出典として提示する候補を索引化するもの。(3) ユーザー起点フェッチャー＝人がその場で指示した瞬間にだけ発火して1件ずつ取りに行くもの。Anthropicの現行体制では、(1)がClaudeBot、(2)がClaude-SearchBot、(3)がClaude-Userに対応します。一方でClaude-Web／anthropic-aiは、この整理が確立する前の名前で、当時は「Anthropic系のAIがWebを見に来る」ことをまとめて指すように使われていました。つまり旧名は、現行の3分類のどれか一つにきれいに対応するわけではなく、整理途上の総称的な名残と捉えるのが正確です。だからこそ旧名で制御しようとしても、現行の3系統には過不足なく効かないのです。

もう一つ、旧名を扱ううえで欠かせない前提が「UAは詐称できる」という事実です。UA文字列（User-Agent＝アクセス元が自分を名乗る識別子）は誰でも自由に書き換えられるため、「anthropic-ai」や「Claude-Web」を名乗るアクセスが来ても、それがAnthropicの正規のアクセスとは限りません。むしろ、現行公式が使っていない旧名を名乗るアクセスは、なりすまし（別のボットが古い名前を騙る）や、更新されていない古いツールの残骸である可能性を疑うべきです。正規のAnthropic系ボットかどうかは、UA名でなくアクセス元IPが公式の公開IPレンジ（機械可読ファイルで配布）に入るかで判定します。旧名の登場は、UAという自己申告の識別子をどこまで信じてよいか、という一般論を考える良い題材でもあります。

仕組み（旧名と現行名の対応）

旧名を残す害は「効かないブロック」だけではありません。robots.txtに実在しない名前が並ぶと、ファイルの見通しが悪くなり、現行ボットの制御漏れに気づきにくくなります。robots.txtは定期的に棚卸しし、非推奨の旧名は現行名へ置き換える（あるいは意図を明記したうえで整理する）のが健全です。

旧名の存在は、より一般的な教訓も示しています——AIボットの世界は名前も方針も速いペースで変わる、という点です。あるベンダーが初期に一つのUA名で「AIがWebを見に来る」挙動をまとめて表していたものを、後から学習用・検索用・ユーザー起点用へと分割・改称する、という流れはAnthropic以外でも起こり得ます。したがってrobots.txtやボット対策は「一度書いて終わり」にせず、各社公式のボット説明（一次情報）を定期的に見直し、現役のUA名に追随することが欠かせません。Claude-Web／anthropic-aiは、その「追随を怠ると対策が形骸化する」典型例として記憶しておく価値があります。

具体例・データ

• 出会う場所：古いブログ記事のrobots.txtサンプル、長年更新されていないサイトのrobots.txtに残っていることが多いです。
• 現行への置き換え：Anthropicの学習を止めたいなら `User-agent: ClaudeBot` に `Disallow: /` を書きます。検索索引も止めたいならClaude-SearchBotも指定します。
• 第三者分類：Dark VisitorsはClaude-Web／anthropic-aiを「Undocumented AI Agent」に分類。公式に裏付けられた現行ボットとは別扱い。
• 棚卸しの目安：robots.txtにanthropic-ai／Claude-Webしか無いサイトは、現行ボットが素通りしている可能性が高いので現行名を追加します。
• IPで裏を取る：旧名を名乗るアクセスが来ても本物とは限りません。Anthropic公式の公開IPレンジと照合し、公式範囲外なら詐称・古いツールの残骸として扱います。
• 他社にも旧名はある：OpenAIやその他ベンダーでも、初期に紹介されたUA名が後に整理・改称された例があります。robots.txtを流用する際は「その名前が今も現役か」を必ず一次情報（各社公式のボット説明）で確認します。

「クロール／取得された≠AIの回答に引用された」という原則は、旧名を語るうえでも効きます。仮にログにanthropic-ai／Claude-Webらしきアクセスが残っていても、それは(a)過去のアクセスの記録、(b)旧名を騙るなりすまし、(c)更新されていない古いツールのいずれかで、いずれにせよ「Claudeの回答に自社が出典として引用された」ことの証拠にはなりません。AI検索での成果（引用露出）は、旧名のアクセス数ではなく、現行の回答・検索系（Claude-SearchBot）の索引化と、実際の回答出典のモニタリングで測ります。旧名は、成果指標としてはノイズにこそなれ、プラスの根拠にはなりません。

よくある誤解・注意点

実務での扱い方

1. robots.txtを棚卸しする：anthropic-ai／Claude-Webの記述があれば、それが「効かない旧名」であることを認識します。
2. 現行名へ置き換える：学習を止めたいなら `User-agent: ClaudeBot` を、検索索引を止めたいならClaude-SearchBotを明記します。
3. 旧名は残しても害が少ない形にする：互換性のため残す場合も、現行名を必ず併記し、旧名だけに頼りません。
4. ログでは現行UAを見る：Claude-Web／anthropic-aiのアクセスはほぼ観測されない前提で、現行ボット（ClaudeBot等）の来訪を集計します。
5. 古いテンプレートを疑う：他サイトのrobots.txt例を流用するときは、旧名が混ざっていないか必ず確認してから採用します。

旧名から現行名への移行チェックリスト

旧名（anthropic-ai／Claude-Web）が残ったrobots.txtを現行体制へ更新するときの実務手順を、具体的に整理します。要点は「旧名を消すこと」自体ではなく、「現行の3系統（ClaudeBot＝学習・収集系／Claude-SearchBot＝回答・検索系／Claude-User＝ユーザー起点フェッチャー）に対して、自社の意図どおりの許可・拒否が効いているか」を確かめることです。旧名だけを書いていた状態は、現行ボットが素通りしている（＝制御が何も効いていない）可能性が高いため、放置すると「対策済みのつもりで実は無防備」という最悪の抜け穴になります。

1. 現状把握：robots.txtにanthropic-ai／Claude-Webの記述しか無いなら、現行ボットは無制御で通っていると判断します。
2. 学習の可否を決める：Anthropicの訓練データに使わせたくないなら `User-agent: ClaudeBot` に `Disallow: /` を書きます。
3. 検索露出の可否を決める：Claude検索の出典に載せたくないならClaude-SearchBotも拒否。載せたいなら通します（学習だけ止める使い分けが可能）。
4. ユーザー起点も個別に指定する：Claude-Userは別のUA名なので、ClaudeBotを拒否しても止まりません。止めたいなら `User-agent: Claude-User` の行を足します。
5. 旧名の整理：anthropic-ai／Claude-Webは残しても害は小さいが、現行名を必ず併記し、旧名だけに頼りません。
6. 一次情報で追随：各社公式のボット説明を定期的に見直し、UA名の改称・新設に追随します（旧名化は今後も起こり得ます）。

当ラボの観測での見え方も補足します。実運用のアクセスログを集計すると、anthropic-ai／Claude-Webという旧名を名乗るアクセスはほとんど観測されず、現に来ているAnthropic系はClaudeBot・Claude-SearchBot・Claude-Userという現行名です。したがって、もしログに旧名らしきアクセスが残っていたら、それは(a)過去の記録、(b)旧名を騙るなりすまし（UA＝User-Agentは詐称可能）、(c)更新されていない古いツールの残骸、のいずれかを疑うべきで、Anthropicの正規アクセスとは限りません。正規かどうかはUA名でなくアクセス元IPを公式の公開IPレンジ（機械可読ファイルで配布）と照合して判定します。旧名のアクセス数は、AI検索での成果（引用露出）の根拠にはならず、指標としてはむしろノイズになります。

よくある質問（FAQ）