FacebookBot

FacebookBot とは何か

FacebookBot は、Meta が従来から公開・文書化してきたクローラーで、AI（とりわけ音声認識技術）の訓練データを集める学習・収集系にあたります。分類上は「AI Data Scraper」——AIモデルの訓練用データセットに入れるためにコンテンツをダウンロードするボット——に位置づけられます。Meta は近年、Meta-ExternalAgent（学習＋インデックス）や Meta-ExternalFetcher（ユーザー起点の取得）といった「Meta-External」系の新しいクローラー群を前面に出しており、公式のWebクローラー一覧の中心はそちらへ移っていますが、FacebookBot は歴史的に文書化されてきた学習・収集系のボットとして、AI検索まわりの用語を理解するうえで押さえておく価値があります。

サイト側から見ると、FacebookBot はUA文字列に「FacebookBot」を含めて来訪します。観測サービスが記録するUA文字列は「Mozilla/5.0 (compatible; FacebookBot/1.0; +https://developers.facebook.com/docs/sharing/webmasters/facebookbot/)」で、末尾のURLが Meta のドキュメントを指す形です。したがって運営者は、アクセスログでこの名前を数えれば、FacebookBot の来訪量を把握でき、robots.txt（＝クローラーに巡回可否を伝える取り決めファイル）で制御できます。観測サービスは、FacebookBot が robots.txt を尊重する（Expected To Follow Robots.txt＝Yes）ボットだと記録しています。

なぜ重要か（AI検索での位置づけ）

FacebookBot は学習・収集系であるため、AI検索の可視化（＝生成AIの回答に引用・参照されること）を測るうえでは「入口の一部だが、成果の証明ではない」立ち位置です。訓練データに入ることは長期的な認知の土台にはなり得ますが、いつ・どの回答に反映されるかは不透明で、回答画面での引用露出とは直結しません。とりわけ FacebookBot はAI音声認識向けの訓練データ収集という用途が知られており、テキストの検索回答というより音声関連モデルの学習に寄る性格があります。いずれにせよ、来訪量を「AI検索での評価」と読み替えないことが肝心です。

仕組み（UA と robots.txt）

FacebookBot は自動巡回のクローラーで、robots.txt を尊重する前提で運用されていると観測サービスは記録しています。運営者は robots.txt に「User-agent: FacebookBot」を宣言し、続けて拒否（Disallow）を書けば、以後の自サイト素材を「訓練データから除外してほしい」という意思表示にできます。ただし、Meta 側のキャッシュ（＝一時保存）により反映まで時間がかかる可能性がある点、そしてUA名は詐称可能なのでIP照合・逆引きで裏を取るべき点は、他の学習・収集系ボットと同じです。

FacebookBot と Meta-ExternalAgent は、どちらも Meta の学習・収集系である点で似ていますが、来歴と主眼が異なります。FacebookBot は従来から文書化されてきた古参のボットで、AI音声認識技術の訓練データ収集という用途が知られています。一方 Meta-ExternalAgent は、より新しく「コンテンツを直接インデックス化して基盤AIモデルの訓練や製品改善に使う」ことを明示した学習＋インデックスの中核です。つまり、Meta は学習・収集の役割を1つのボットに集約しているのではなく、時期や目的に応じて複数の学習系ボットを併存させてきた、と理解するのが正確です。運営者としては、robots.txt で学習を止めたいなら FacebookBot と meta-externalagent の両方を明記するのが漏れのない対応になります。片方だけ書いて「Meta の学習を止めた」と考えるのは早計です。

• UA検知の手がかり：アクセスログのUA文字列に「FacebookBot」を含むかで判別します（部分一致で拾います）。facebookexternalhit とは別文字列なので取り違えません。
• robots.txtでの拒否例：`User-agent: FacebookBot` の行に続けて `Disallow: /` を書くと全体を拒否できます。一部だけなら対象パスに変えます。
• なりすまし対策：UA名は詐称可能。遮断・許可の判断は、Meta の公開IP情報や逆引きとの照合で裏を取ります。
• 観測データの活用：ボット横断観測サービスのKnown Agents（旧Dark Visitors）が2026年7月31日時点で公開している集計では、世界の上位1,000サイトのうち11%が robots.txt で FacebookBot をブロックしています。ブロック方針の相場感の参考になります。

FacebookBot は「AI Data Scraper（AIモデルの訓練用データセット向けにコンテンツを収集するボット）」という分類の典型例でもあります。この分類のボットは、検索用の巡回とはアクセスの質が違い、ボット横断観測サービスのKnown Agents（旧Dark Visitors）は、この種の学習データ収集ボットについて、1回の来訪で検索クローラーよりはるかに多くのページを取得する「広く深いスイープ（一斉収集）」を、予測しづらいスケジュールで行うと説明しています。収集パスが走っている間はアクセスが重くなり、終わるとぱたりと止む、という波もあります。したがって、FacebookBot のアクセス量をログで見るときは、日常的な検索クローラーの巡回とは別の「まとまった収集の波」として捉え、瞬間的な急増を異常と早合点しない一方で、負荷対策（レート制限など）は学習系ボット向けに別途検討する、という見方が実務的です。

具体例・データ

実務では、FacebookBot・facebookexternalhit・Meta-ExternalAgent・Meta-ExternalFetcher を「同じ Meta だから」と一括りにせず、目的別に分けて集計することが重要です。下表のとおり、FacebookBot は訓練データ収集（学習・収集系）、facebookexternalhit はリンク共有時のプレビュー生成、Meta-ExternalAgent は学習＋インデックス、Meta-ExternalFetcher はユーザー起点の取得——と役割が分かれています。ひとまとめに「Meta のアクセス」と数えると、「学習された量」と「共有プレビューで使われた量」「ユーザー起点で読まれた量」が混ざり、実態を取り違えます。

なお、FacebookBot の名前を robots.txt に書くときは、大文字・小文字を含めて正確に指定するのが安全です。robots.txt の User-agent 指定は一般に大文字小文字を区別せずマッチしますが、記述の可読性と将来の取り違え防止のため、公式・観測情報に沿った表記（FacebookBot）で統一しておくとよいでしょう。加えて、FacebookBot・facebookexternalhit・meta-externalagent は名前が近く混同しやすいので、robots.txt のコメント（# で始まる注記）に各行の役割を書き添えておくと、後から設定を見直す担当者が「これは学習系」「これは共有プレビュー系」と一目で判断でき、誤って必要なボットまでブロックする事故を防げます。設定は書いて終わりではなく、意図が読み取れる形で残すことが、長期の運用ミスを減らします。

よくある誤解・注意点

実務での扱い方

1. まず方針を決める：AI音声認識等の訓練に使われることを許すか、無断学習を拒否するか、自社の立場を明確にします。
2. robots.txt を整える：拒否するなら `User-agent: FacebookBot` に `Disallow:` を書きます。facebookexternalhit と混同しないよう文字列を厳密に区別します。
3. ログでUAを分けて集計する：FacebookBot を facebookexternalhit・Meta-External 系・他社ボットと別カウントにし、学習系と共有・回答系を混ぜません。
4. IPで裏を取る：多量アクセスや不審な挙動があれば、UA名だけで判断せず公式IP情報・逆引きと照合し、詐称を除外します。
5. 可視化は別指標で測る：AI検索での引用露出は、FacebookBot の数ではなく回答出典のモニタリングで評価します。

よくある質問（FAQ）