クローラー（クロール）

クローラーとは、リンクをたどってWebページを自動で取得・読み取りする巡回プログラム、クロールとはその巡回作業のことです。別名はボット、スパイダー。Googlebotのような検索用も、GPTBotのようなAI用も、すべてクローラーの一種です。ここで最重要なのは「クロールされた（取得された）」ことと「引用された（回答や検索結果に載った）」ことは別、という点です。

クローラー／クロールとは（正確な定義）

クローラー（crawler）は、Webを自動で「這い回る（crawl）」プログラムを指す総称です。crawlは英語で「這う」を意味し、リンクからリンクへ移動しながらWeb全体を面的に取得していく様子から名付けられました。同じものをボット（bot＝ロボットの略。自動で動くプログラム）やスパイダー（spider＝Web〈クモの巣〉を這うクモの比喩）とも呼びます。一方クロール（crawl）は動作を指す語で、「このサイトは昨夜クロールされた」のように、ページが取得・走査されたことを表します。

クローラーという言葉は、検索エンジンの黎明期からWebを支えてきた基礎技術を指します。人間がすべてのページを手作業で集めることは不可能なので、リンクをたどって自動でWebを収集するプログラムが不可欠でした。今日のGoogle検索も、その根幹はGooglebotというクローラーがWebを巡回し続けることで成り立っています。AI検索の時代になっても、この「自動でWebを取得する」という営み自体は変わらず、むしろAI各社が独自のクローラーを走らせることで、その担い手が増えたと捉えるのが正確です。

Googleは自社の文書で、Webを取得する主体を大きく「クローラー」と「フェッチャー」に分けて説明しています。クローラーは自動でWebを発見・走査していく巡回主体、フェッチャー（fetcher）は、ユーザーの操作などをきっかけに、たいてい1回だけページを取りに行く取得主体を指します。両者は「自動で面的に広がるか」「単発で取りに来るか」という点で性格が異なります。AIの世界でも、自動で大量巡回する学習系クローラーと、質問のたびに単発で取得するフェッチャー（user-triggered fetcher）が併存しており、この整理はそのままAIクローラーの理解に役立ちます。

なぜ重要か（AI検索での位置づけ）

AI検索でも従来検索でも、ページが「取得される（クロールされる）」ことが、あらゆる露出の前提です。取得されなければ索引にも入らず、AIの回答材料にもなりません。だからこそサイト運営者は、重要なページがきちんとクロールされているか、逆に取得されたくないページが誤って巡回されていないかを気にかけます。AI時代には、GooglebotだけでなくAIクローラーにも取得されているかが、新たな観測点として加わりました。

クロールを理解しておくと、AI検索対策で起きがちな取り違えを避けられます。たとえば「AIの回答に自社が出ない」原因を考えるとき、そもそもクロールされていない（取得の入口で失敗している）のか、クロールはされているが引用されない（内容や信頼性の問題）のかで、打つべき手はまったく変わります。前者ならrobots.txtやサーバー設定、内部リンクといった「取得されやすさ」の改善が先決で、後者なら内容の充実や一次情報としての明確さといった「引用されやすさ」の改善に進みます。クロールという段階を独立して捉えることが、問題の切り分けを正確にします。

仕組み／どう動くか

クローラーの動きは、次の流れの繰り返しです。起点となるURL群（シード）から始まり、取得したHTMLの中のリンクをたどって未取得のページへ広がっていきます。

1. 取得対象のURLをキュー（順番待ちの列）から取り出す
2. そのURLへHTTPリクエストを送り、HTMLをダウンロードする
3. 取得前に robots.txt を確認し、許可されている範囲だけを取りに行く（従う場合）
4. HTML内のリンク（aタグのhref等）を抽出し、未取得のものをキューに追加する
5. 取得した本文を、検索索引やAIの学習・回答材料として保存・処理する
6. これをクロールバジェットの範囲で繰り返す

ここで出てくるクロールバジェット（crawl budget）とは、1つのサイトに対してクローラーが割く取得量の目安のことです。サイトの規模・更新頻度・サーバーの応答速度などから決まり、無限にすべてを取得するわけではありません。重要ページが確実に巡回されるよう、内部リンク構造やサイトマップ（＝ページ一覧を伝えるファイル）を整えるのは、このバジェットを有効に使ってもらうための工夫です。

クローラーの動きには、良識的なものが守る「作法」もあります。ひとつは、取得前にrobots.txtを確認して指示された範囲を尊重すること。もうひとつは、サーバーに過度な負荷をかけないよう、取得の間隔をあけてリクエストを送ることです（クロールレートの制御）。応答が遅いサイトに対しては取得速度を落とす、といった配慮も行われます。逆に、こうした作法を無視して短時間に大量アクセスするボットは、サーバー負荷や帯域の観点で問題になり、拒否の対象として検討されます。AIクローラーを歓迎するかを判断するときも、その運営元が公式にこうした作法や取得方針を明示しているかが、信頼できる相手かの目安になります。

取得したページの処理についても補足します。クローラーはHTMLをダウンロードするだけでなく、その中の見出し・本文・リンク・構造化データ（＝機械が意味を読み取れるよう整えた印）を解析し、索引や学習素材として整えます。ここで、内容がJavaScriptによって後から描画される作りだと、クローラーがその実行までしないかぎり中身を取りこぼすことがあります。AI検索対策でもこの点は共通で、重要な情報は素のHTMLの時点で読める形にしておくことが、AIクローラーに正しく内容を届ける条件になります。取得はされても中身が空に見える、という事態を避けるための基本です。

具体例・従来クローラーとAIクローラーの違い

動作原理は共通ですが、取得したページの「行き先」がまったく違います。従来型は検索結果、AIクローラーはAIの回答です。AIO（AI最適化）では、このAIクローラー側の巡回を意識した対策が新たに求められます。もっとも、両者は対立するものではありません。検索用に整えたクロールされやすい構造（素のHTMLで内容が届く、内部リンクが整理されている、サイトマップがある）は、そのままAIクローラーにも有利に働きます。従来のSEO（検索エンジン最適化）で培った「取得されやすさ」の基礎は、AI検索対策でも土台として生き続けます。

AI検索対策の観点でまとめると、クローラーは「自社の内容をAIや検索に届けるための運び手」であり、クロールは「その運搬が起きているか」を示す最初の関門です。この関門を通らなければ、どれだけ良い内容を用意しても、AIの回答にも検索結果にも届きません。逆に、この関門さえ理解しておけば、成果が出ないときに「取得の問題か、引用の問題か」を切り分けて、次の一手を的確に選べます。クローラーとクロールという基礎概念は、AI検索対策の全体を貫く共通言語なのです。

よくある誤解・注意点

この「取得と引用は別」という原則は、AI検索対策の効果測定を設計するうえでも決定的です。クロールの有無はサーバーログで観測できますが、引用の有無はログには一切残りません。引用を確かめるには、実際にAIへ想定質問を投げて、回答の出典や言及に自社が現れるかを別途チェックする必要があります。つまり対策の成果は「クロールされているか（入口）」と「引用されているか（出口）」の二段で見るのが正しく、片方だけを見て一喜一憂しないことが重要です。ログでクロールは確認できるのに引用されないなら、次は内容の信頼性や一次情報としての明確さを疑う、という順に問題を掘り下げていきます。

• クロールされても索引に登録されない（noindex等）ことがあります。取得と掲載は別段階
• robots.txtでの拒否は「取得しないでほしい」という要請で、法的な強制力はありません。従うかはボット次第
• クロールバジェットは有限。サイトが巨大・低速だと重要ページが後回しになりうる
• JavaScriptで動的に描画する要素は、クローラーが実行しないと読めない場合がある

クロールされやすいサイトとは

クローラーに読まれやすいサイトには共通点があります。第一に、重要な内容が素のHTMLの中にあることです。JavaScriptで後から描画される部分は、クローラーがその実行までしないと読めない場合があり、内容が空っぽに見えてしまいます。第二に、内部リンクが整理され、どのページにもリンクをたどって到達できることです。どこからもリンクされていない孤立したページは、クローラーが存在に気づけません。第三に、サイトマップ（＝ページ一覧を伝えるファイル）で重要ページの所在を明示していることです。これらはいずれも、限られたクロールバジェットの中で重要ページを確実に取得してもらうための基本条件です。

これらの条件は、従来のSEOで語られてきた「クロール最適化」とほぼ同じですが、AI検索の時代でも価値は失われていません。むしろ、AIクローラーも同じ仕組みで巡回する以上、素のHTMLで内容が届き、リンク構造が整い、サイトマップがある、という基盤は、GooglebotにもAIクローラーにも等しく効きます。AI検索対策というと目新しい施策を探しがちですが、まずは「そもそも機械に読み取りやすいサイトになっているか」という土台を固めることが、遠回りに見えて確実な出発点になります。

クロールにまつわる用語も、いくつか整理しておくと理解が深まります。実務でよく登場するものを並べます。

• クロール（crawl）: クローラーがページを取得して回る作業そのもの。「昨夜クロールされた」のように使う
• インデックス（index）: 取得したページを検索できるよう索引に登録すること。クロールの次の段階
• クロールバジェット: 1サイトに割く取得量の目安。規模・更新頻度・応答速度で決まる
• クロールレート: 単位時間あたりの取得回数。サーバー負荷を避けるため良識的なボットは間隔をあける
• シード（seed）: 巡回の起点となる最初のURL群。ここからリンクをたどって広がる
• フェッチャー（fetcher）: ユーザーの操作を起点に、たいてい単発でページを取りに来る主体。自動巡回のクローラーと区別される

これらの語は互いに段階でつながっています。シードから始まったクロールが、クロールバジェットとクロールレートの制約の中でページを取得し、その一部がインデックスに登録され、最終的に検索結果やAIの回答の材料になる——という流れです。AI検索対策では、この一連の流れのどこで自社がつまずいているのかを見極めることが、効果的な打ち手を選ぶ鍵になります。取得の段階で失敗しているのか、取得はされているが引用に至らないのか。段階を意識するだけで、対策の解像度は大きく上がります。

実務での扱い方

1. サイトマップを用意し、重要ページの所在をクローラーに明示する
2. 内部リンクを整理し、深い階層のページにもたどり着けるようにする
3. robots.txtで、取得してよい範囲と拒否する範囲を明確に書く
4. サーバーログでGooglebot・AIクローラー双方の巡回状況を観測する
5. 重要ページがJavaScript依存で読めなくなっていないか、素のHTMLで内容が届くか確認する