Claude-SearchBot

Claude-SearchBotとは何か

Claude-SearchBotは、AnthropicがClaudeの検索・回答機能の品質を高めるために走らせる回答・検索系クローラーです。Claudeがユーザーの質問に対してWebを参照して答えるとき、より適切な出典を提示できるよう、あらかじめWebコンテンツを索引化しておく役割を持ちます。自動巡回のクローラーである点でClaudeBotと似ていますが、目的が「訓練データ収集」ではなく「検索回答の候補づくり」である点が決定的に違います。Anthropicはこの検索系を、学習用のClaudeBotやユーザー起点取得のClaude-Userとは別のUA名で分けており、運営者が用途ごとに扱いを変えられるようにしています。

サイト側から見ると、Claude-SearchBotはHTTPリクエストのUA文字列に「Claude-SearchBot」を含めて来訪します。したがってアクセスログでこの名前を数えれば、Claude検索の索引化がどれだけ自サイトに来ているかを、学習系のClaudeBotと分けて把握できます。逆に、Claude検索の回答出典に自社を載せたくない場合は、robots.txtでClaude-SearchBotを拒否することで、索引化の対象から外す意思表示ができます。

AIボットの「3分類」でいうと、Claude-SearchBotは(2)回答・検索系にあたります。AI関連ボットは目的で3種に分かれ、(1)学習・収集系＝訓練データ集め（ClaudeBot）、(2)回答・検索系＝回答の出典候補を索引化（Claude-SearchBot）、(3)ユーザー起点フェッチャー＝ユーザー指示でその場取得（Claude-User）、という構図です。この3つのうち、AI検索での「引用露出」に最も近い入口が(2)であり、Claude-SearchBotはClaudeの検索回答に自社が出典として並ぶための土台をつくる存在だ、と位置づけられます。学習系（遅効性・不透明）と混同せず、この役割の違いを最初に押さえることが肝心です。

なぜ重要か（AI検索での位置づけ）

AI検索の可視化（＝生成AIの回答に自社が引用・参照されること）を測るうえで、Claude-SearchBotは「回答の出典に載るための入口」として、学習系のClaudeBotより成果に近い位置にあります。ClaudeBotの取得は訓練候補に入るだけで、いつどの回答に反映されるか不透明ですが、Claude-SearchBotの索引化はClaudeの検索回答で出典として引用される候補づくりに直結します。つまり、ここへのアクセスがある＝出典露出のチャンスがある、と読めます（ただし索引化＝必ず引用、ではありません）。当ラボの引用計測でも、Claude-SearchBotは「回答・検索系」に分類し、学習・収集系のClaudeBotとは指標を分けて扱っています。

実務的にいえば、Claude-SearchBotの巡回頻度や取得ページ数は、AI検索最適化（AIO／GEO＝生成AIに引用されやすくする対策）の進捗を測る補助指標になります。新しく公開した記事にClaude-SearchBotが早く来て、深く（多くのページを）巡回しているなら、Claudeの検索回答で出典候補になる下地ができつつある、と読めます。逆に、robots.txtの設定ミスや過度なアクセス制限でClaude-SearchBotが来られていなければ、そもそも候補プールに入れず、Claudeの検索回答で引用される機会を自ら閉ざしていることになります。したがって、Claude検索での露出を狙うなら、まずClaude-SearchBotが問題なく巡回できる状態（robots.txtで拒否していない・過度なレート制限をかけていない）を確保することが出発点になります。

仕組み（3系統の中での位置）

Claude-SearchBotは自動巡回のクローラーなので、robots.txtの巡回可否ルールを尊重します。Anthropicは公式に、ClaudeBot・Claude-SearchBot・Claude-Userの3系統すべてがrobots.txtの指示に従うと説明しているため、Claude検索の索引化を止めたいなら、robots.txtでClaude-SearchBotを拒否すれば効きます。ただしそれはClaude-SearchBotだけを止める指定なので、ユーザーがURLを渡したときの取得も止めたいなら、Claude-Userを別に指定する必要があります。

「索引化」から「回答での引用」までの流れを分解すると、Claude-SearchBotの役割がより明確になります。まずClaude-SearchBotが公開ページを巡回して本文を取得し、検索できる形に索引化します（＝候補プールに入れます）。次に、ユーザーがClaudeに質問すると、Claudeはその質問に関連する候補を索引から探し、関連度の高いものを回答の根拠として選びます。最後に、選ばれたページが回答本文の出典（サイテーション＝根拠として提示される出典リンク）として表示されます。この3段のうち、Claude-SearchBotが担うのは最初の「候補プールに入れる」段階だけです。だからこそ「索引化された＝候補になった」であって「必ず引用される」ではない、という区別が生じます。実際に引用されるかは、質問との関連度・内容の質・信頼性（E-E-A-T的な要素）で決まります。

具体例・データ

• UA検知の手がかり：アクセスログのUA文字列に「Claude-SearchBot」を含むかで判別します（部分一致で拾います）。
• robots.txtでの拒否例：`User-agent: Claude-SearchBot` の行に続けて `Disallow: /` を書くと索引化を全体で拒否できます（一部だけなら `/` を対象パスに変えます）。
• 3ボットの分離：学習はClaudeBot、検索索引はClaude-SearchBot、ユーザー起点取得はClaude-User。目的が違うので集計も別にします。
• 公式IPレンジ照合：Anthropicは自社ボットのIP範囲を機械可読ファイル（一般に bots.json 等の形で公開）で提供。UA照合に加えてIP照合で詐称を排除します。
• 露出したいなら許可：Claude検索の回答出典に載る道を残したいなら、Claude-SearchBotをrobots.txtで拒否しないこと。学習だけ止めたいならClaudeBotを個別に拒否し、Claude-SearchBotは通す、という使い分けが可能。
• 他社の対応物との対比：OpenAIならOAI-SearchBot、PerplexityならPerplexityBotが同じ「回答・検索系（索引化）」に相当します。Claude-SearchBotはそのAnthropic版と理解すると位置づけがつかみやすいです。

よくある誤解・注意点

実務での扱い方

1. 露出方針を決める：Claude検索の回答出典に載せたいならClaude-SearchBotを許可、載せたくないなら拒否します。
2. robots.txtを整える：拒否するなら `User-agent: Claude-SearchBot` に `Disallow:` を書きます。学習も止めたいならClaudeBotも別途指定します。
3. ログでUAを集計する：Claude-SearchBotの来訪を、ClaudeBot（学習）やClaude-User（ユーザー起点取得）と分けて数えます。
4. IPで裏を取る：不審な挙動や遮断判断では、UA名だけでなくAnthropic公式IPレンジと照合して詐称を排除します。
5. 出典露出を計測する：Claude-SearchBotの索引化アクセス数だけでなく、実際にClaudeの回答へ出典として載ったかをモニタリングで評価します。
6. 巡回を妨げない：Claude検索での露出を狙うなら、robots.txtでClaude-SearchBotを拒否せず、過度なレート制限やアクセス遮断で巡回を妨げない状態を保ちます。

他社の回答・検索系との比較

Claude-SearchBotの位置づけは、他社の「回答・検索系（索引化）」ボットと並べると明快になります。AI検索を提供する各社は、回答に出す出典候補をあらかじめ索引化するための自動巡回クローラーを持っており、Claude-SearchBotはそのAnthropic版です。OpenAIならOAI-SearchBot、Perplexity（パープレキシティ＝出典付きで回答するAI検索エンジンを運営する企業）ならPerplexityBotが同じ役割にあたります。これらはいずれも自動巡回のクローラーであるため、ユーザー起点フェッチャー（Claude-User等）とは違い、robots.txt（＝クローラーに巡回可否を伝える取り決めファイル）の巡回可否ルールを尊重します。したがって「検索回答の出典に載る道を残すか閉ざすか」を、robots.txtの許可・拒否でそのまま制御できる、という共通の性質を持ちます。

当ラボの観測での見え方も補足します。Claude-SearchBotのアクセスは、ClaudeBot（学習・収集系）とはUA名で明確に切り分けられるため、ログを分けて集計すると「学習のための収集」と「検索回答の候補づくり」を別々の折れ線として追えます。新規記事を公開した直後にClaude-SearchBotが早く・深く（多ページを）巡回しているサイトは、Claude検索の出典候補プールに入りやすい下地ができている、と読めます。逆に、robots.txtの設定ミスや過度なレート制限でClaude-SearchBotの巡回が浅いままなら、そもそも候補に入れず引用機会を自ら閉ざしていることになります。ただし索引化アクセスの多寡は「候補になった度合い」であって「引用された成果」ではないため、実際の回答出典への掲載は別途モニタリングで測る必要があります。

よくある質問（FAQ）