Meta-ExternalAgent

Meta-ExternalAgent とは何か

Meta-ExternalAgent は、Meta が公開Webを巡回して集めた本文を「直接インデックス化」し、基盤AIモデルの訓練や自社製品の改善に使うための学習・収集系クローラーです。Meta は複数のWebクローラーを用途別に使い分けており、Meta-ExternalAgent はそのうち「学習とインデックス作成」を担う中核にあたります。同じ Meta ファミリーには、ユーザー操作を起点にリンクを取りに行く Meta-ExternalFetcher（メタエクスターナルフェッチャー）、リンク共有時のプレビュー生成やセキュリティ確認を行う facebookexternalhit（フェイスブックエクスターナルヒット）、広告など事業関連の情報を集める Meta-ExternalAds などがあり、Meta-ExternalAgent はそれらとは目的が異なります。

サイト側から見ると、Meta-ExternalAgent はHTTPリクエストのUA文字列に「meta-externalagent」を含めて来訪します。Meta 公式が例示するUA文字列は「meta-externalagent/1.1 (+/documentation/sharing/webmasters/web-crawlers)」あるいは末尾の説明部分を省いた「meta-externalagent/1.1」です。したがって運営者は、アクセスログ（＝サーバーが記録する来訪履歴）でこの名前を数えれば、Meta の学習用収集がどれだけ自サイトに来ているかを把握できます。Meta は robots.txt という業界標準の慣行での制御を推奨しており、NoAI タグのような非標準の書式ではなく robots.txt に拒否ルールを書くことで、自サイト素材を Meta の学習対象から外す意思表示ができます。

なぜ重要か（AI検索での位置づけ）

AI検索の可視化（＝生成AIの回答に自社が引用・参照されること）を測るうえで、Meta-ExternalAgent は「入口の一部だが、成果の証明ではない」立ち位置です。訓練・インデックスに入ることは長期的な認知の土台にはなり得ますが、いつ・どの回答に反映されるかは不透明で、回答画面でのリアルタイムの引用可視化とは直結しません。Meta の生成AI（Meta AI など）が回答で自社ページを出典として示したかどうかは、学習用収集の量とは別の指標——実際の回答出典のモニタリング——で見るべきです。当ラボが引用計測（＝AIの回答に誰が引用されたかを継続測定する研究）で学習系と回答系を厳密に分けているのも、この理由からです。Meta-ExternalAgent のアクセスが増えた＝AI検索で評価が上がった、と読み替えてはいけません。

仕組み（UA と robots.txt）

Meta-ExternalAgent は自動巡回のクローラーであり、Meta 公式は robots.txt のルールを尊重する前提で運用しています。運営者は robots.txt に「User-agent: meta-externalagent」を宣言し、続く行で許可（Allow）・拒否（Disallow）を書き分けます。Meta 公式ドキュメントは、サイト全体を許可しつつ特定ディレクトリだけ拒否する例として、次のような書き方を示しています。なお robots.txt を変更しても、クローラーが内容を最大24時間キャッシュ（＝一時保存）する可能性があるため、反映まで最長24時間ほどかかる点に注意してください。

Meta-ExternalAgent は、比較的新しい「Meta-External」系のクローラー群の中核として登場した名前です。歴史的には、Meta の学習・収集系ボットとして FacebookBot（フェイスブックボット）が先に文書化されていましたが、Meta はその後、学習とインデックス作成を明示的に担う Meta-ExternalAgent を前面に出すようになりました。したがって、古い記事や古い robots.txt の設定例が FacebookBot だけを想定している場合、現行の Meta-ExternalAgent を取りこぼす恐れがあります。学習・収集を止めたい／許したいという意思を正しく反映させるには、robots.txt に現行名である meta-externalagent を明記し、必要なら FacebookBot・Meta-ExternalAds など他の Meta 系ボットの行もあわせて整理するのが安全です。UA名だけを頼りにブロック判断をすると、詐称ボットに振り回されたり、逆に正規の Meta-ExternalAgent を別名と誤認して見落としたりするため、後述のIP照合と組み合わせて運用するのが実務の基本になります。

• UA検知の手がかり：アクセスログのUA文字列に「meta-externalagent」を含むかで判別します（部分一致で拾います）。
• robots.txtでの拒否例：`User-agent: meta-externalagent` の行に続けて `Disallow: /` を書くと全体を拒否できます。一部だけ拒否したいなら `/` を対象パス（例 `/private/`）に変えます。
• 反映までの時間：robots.txt の変更は最長24時間キャッシュされるため、拒否を書いた直後に来訪が止まるとは限りません。
• なりすまし対策：UA名は詐称可能なので、Meta が公開するIPレンジ（＝アクセス元IPアドレスの範囲）や逆引き（IPからホスト名を引く照合）で本物かを確かめます。

具体例・データ

実務上は、Meta-ExternalAgent を「同じ Meta ファミリーの他ボット」ときちんと切り分けて集計することが大切です。たとえば同じログに「meta-externalfetcher」（ユーザー起点の取得系）や「facebookexternalhit」（リンクプレビュー生成）が混在していても、目的も robots.txt の効き方も違うため、ひとまとめに「Meta のアクセス」と数えると意味を取り違えます。Meta-ExternalAgent は学習・収集の量、Meta-ExternalFetcher はユーザー操作起点の取得、facebookexternalhit は共有プレビュー——と分けて見ることで、「学習されている量」と「回答・共有で使われている量」を区別できます。

なりすまし（UA詐称）の排除は、Meta-ExternalAgent を扱ううえで避けて通れません。UA文字列は誰でも自由に書き換えられるため、悪意あるスクレイパーが「meta-externalagent」を名乗ってアクセス制限をすり抜けたり、逆に正規の来訪に見せかけて負荷をかけたりできます。これを防ぐ王道は、UA名の一致だけで判断せず、アクセス元IPアドレスが Meta の公式に紐づく範囲に入るか、そして逆引き（IPアドレスからホスト名を引き、そのホスト名が Meta のドメインに属するかを確かめる二重照合）で裏を取ることです。大量アクセスや不審なパターンを検知したときほど、この照合を挟むことで「本物の Meta-ExternalAgent」と「名前を騙る第三者」を切り分けられます。集計レポートでも、IP照合を通ったものだけを「確度の高い Meta-ExternalAgent 来訪」として区別しておくと、数字の信頼性が上がります。

よくある誤解・注意点

実務での扱い方

1. まず方針を決める：Meta の学習・インデックスに使われることを「認知の土台」として許すか、「無断学習は拒否」の立場で止めるか、自社の考えを明確にします。
2. robots.txt を整える：拒否するなら `User-agent: meta-externalagent` に `Disallow:` を書きます。反映まで最長24時間かかることを前提に、変更直後の来訪継続で慌てません。
3. ログでUAを集計する：meta-externalagent の来訪回数を、meta-externalfetcher・facebookexternalhit や他社ボットと分けて数え、「学習系」と「回答・共有系」を混ぜない集計にします。
4. IPで裏を取る：多量アクセスや不審な挙動があれば、UA名だけで判断せず公式IPレンジ・逆引きと照合し、詐称を除外します。
5. 可視化は別指標で測る：AI検索での引用露出は、Meta-ExternalAgent の数ではなく回答出典のモニタリングで評価します。

よくある質問（FAQ）