Applebot-Extended

Applebot-Extendedとは何か

Applebot-Extendedは、Appleがサイト運営者に「生成AI訓練へのデータ利用」を個別にコントロールさせるために追加した制御トークンです。公式説明は明確で、「Applebot-Extendedはページを巡回しない（does not crawl webpages）」「Applebot-Extendedを拒否したページも検索結果には載り得る」「Applebot-Extendedは、Applebotが集めたデータをどう使うかを決めるためだけに使われる」と述べています。つまりこれは、ログに固有の足跡（UA）を残す実クローラーではなく、robots.txt上でのみ意味を持つ「意思表示のためのラベル」です。

したがってサイト運営者がやることは1つ、robots.txtに `User-agent: Applebot-Extended` の行を置き、拒否したい範囲を `Disallow:` で指定するだけです。これによりApplebotが以後に集める（または既に集めた）自サイトのデータを、Appleの汎用基盤モデルの訓練に使わない、という表明になります。Appleは「Applebot-Extendedを許可すれば、時間をかけてAppleの生成AIモデルの能力と品質の向上に役立つ」とも述べており、拒否はあくまで運営者側の選択肢です。

なぜAppleは、Applebot本体のrobots.txt指定だけで学習可否を決めさせず、わざわざ別トークンを用意したのでしょうか。理由は、多くのサイトにとって「検索に出ること」と「AIの学習素材にされること」は望ましさが正反対だからです。従来のrobots.txtは巡回そのものの可否しか表現できず、「検索には出したいが学習には使わせたくない」という中間的な意思を表せませんでした。Applebot-Extendedは、この表現力の欠落を埋めるために「巡回（Applebotが担当）」と「用途＝学習利用（Applebot-Extendedが担当）」を分離した、いわば意思表示のための追加レイヤーです。

なぜ重要か（AI検索での位置づけ）

AI検索最適化（AIO／GEO）の現場では、「検索露出は最大化したいが、無断の生成AI学習には慎重でありたい」という要望が頻繁に生じます。Applebot-Extendedは、その相反する2つの要望を分離して満たすための道具です。Applebot本体を拒否すればSpotlight・Siri・Safariの検索露出まで失いますが、Applebot-Extendedだけを拒否すれば検索露出を保ったまま学習利用のみを断てます。生成AI時代に各社が導入している「学習opt-outトークン（Google-Extended、GPTBotとは別建ての制御など）」の一員として、サイトのAIポリシーを表明する標準的な手段になっています。

報道機関や出版社を中心に、Applebot-ExtendedをはじめとするAI学習opt-outトークンを実際に拒否設定する動きが広がりました。WIREDは2024年7月28日、The New York Times・Financial Times・The Atlantic・Vox Media・USA Todayの各紙誌やCondé Nast、FacebookやInstagramなどがApplebot-Extendedを拒否していることを確認したと報じています。同記事によると、AI検出企業のOriginality AIが高トラフィックの1,000サイトを調べたところ約7%が拒否しており、その大半は報道・メディア系でした。またデータジャーナリストのBen Welsh氏の調査では、主に英語圏・米国の報道サイト1,167件のうち294件、つまり4分の1強がApplebot-Extendedを拒否していました。これは「自社の記事という資産を、対価なく生成AIの学習に使われることへの防衛」という経営判断です。一方で、拒否すれば検索露出にはまったく影響が無い（＝Spotlight・Siri・Safariには引き続き出る）ため、コストの低い意思表示でもあります。自社コンテンツの価値が高く、無断学習を避けたい事業者ほど、検索露出を犠牲にせずに学習だけ断てるこの仕組みの価値は大きくなります。

仕組み（Google-Extendedとの対比）

この構造はGoogle-Extendedと瓜二つです。Google-Extendedも固有UAを持たず、Googlebotが集めたデータをGeminiなどの生成AI学習に使ってよいかをrobots.txtで表明するためだけのトークンです。両者に共通する設計思想は「巡回（クロール）と用途（学習利用）を切り離し、運営者が用途にだけ意思表示できるようにする」こと。この分離により、検索エコシステムへの参加を維持しながら、学習利用には個別の判断を下せます。

一方で、OpenAIのGPTBotは設計思想が少し異なります。GPTBotは固有UAを持ち、実際にWebを巡回する「学習用の実クローラー」です。したがってGPTBotを拒否すると、学習のための取得そのものが止まります。対してApplebot-ExtendedやGoogle-Extendedは、取得役（Applebot／Googlebot）はそのまま検索のために動かし続け、そのデータの「学習への転用」だけを止めます。この違いを押さえないと、「Applebot-Extendedを拒否したのにログにそのボットが来ない＝設定ミス」と誤認したり、逆に「GPTBotを拒否したから検索にも出なくなる」と取り違えたりします。opt-out専用トークン（巡回しない）と学習用実クローラー（巡回する）は、別物として扱ってください。

具体例・データ

• robots.txt記述例：`User-agent: Applebot-Extended` の次行に `Disallow: /`（全体を学習利用から除外）または `Disallow: /private/`（一部のみ）。
• 効果の範囲：Appleの汎用基盤モデル（Apple Intelligence／Services／Developer Tools）の訓練へのデータ利用を拒否します。
• 効果の非対称性：拒否してもApplebotのクロールは続き、Spotlight・Siri・Safariの検索結果には載り得ます。
• 同種の仕組み：Google-Extended（Google／Gemini向け）も固有UA無し・巡回しない・学習可否だけを表明、という点で構造が同じです。

よくある誤解・注意点

実務での扱い方

1. 方針を定める：Appleの生成AI（Apple Intelligence）学習に自サイトを使わせるか否かを決めます。
2. 検索露出を守る：検索には出したいなら、Applebot本体は絶対に拒否しません（Applebot-Extendedだけを扱います）。
3. robots.txtに書く：拒否するなら `User-agent: Applebot-Extended` に `Disallow:` を書きます。全体か一部かを対象パスで調整します。
4. 記述を検証する：ログには現れないため、robots.txtの構文・対象パスが正しいかをテスターやプレビューで確認します。
5. 他社トークンと揃える：Google-Extendedなど同種の学習opt-outトークンと方針を一貫させ、サイト全体のAIポリシーとして整合させます。

学習opt-outトークンの見取り図

生成AIの学習からコンテンツを守るための手段は、大きく2種類に分かれます。1つは「巡回する実クローラーを拒否する」方式（例：OpenAIのGPTBot）、もう1つは「巡回役はそのままに、学習利用だけを拒否する制御トークン」方式（例：Applebot-Extended、Google-Extended）です。前者は取得そのものを止めるため副作用（検索露出の喪失）が起きやすく、後者は検索露出を保ったまま学習だけを断てる代わりに、そのベンダーが用意していなければ使えません。自サイトのAIポリシーを設計するときは、この2方式を各ベンダーごとに正しく選び分ける必要があります。

Applebot-Extendedのようなopt-out専用トークンは、robots.txtという既存の枠組みの中で、これまで表現できなかった「用途への意思表示」を可能にした点で画期的でした。ただし限界もあります。第一に、これはあくまでベンダーが用意し、尊重すると表明している任意の仕組みであって、法的な強制力を持つものではありません。第二に、opt-outは「拒否を明示的に書いたサイトだけ」が守られる方式なので、何も書かなければ「許可した」とみなされます。つまり無設定は同意と解釈され得ます。自社コンテンツを生成AI学習から守りたいなら、Applebot-Extended・Google-Extendedなど各ベンダーのopt-outトークンを網羅的にrobots.txtへ記述し、新しいトークンが登場するたびに追記していく、という継続的な運用が必要です。「一度書けば終わり」ではなく、AIポリシーの定期的な見直しとセットで運用するのが正しい姿勢です。加えて、opt-outの効力はあくまで「そのトークンを尊重すると公式に表明しているベンダー」に対してのみ働きます。悪意あるスクレイパー（＝取り決めを無視して勝手にデータを収集するプログラム）はそもそもrobots.txtを読まないため、opt-outトークンでは止まりません。これらへの対処は、robots.txtとは別に、アクセス元IPでの遮断やレート制限（＝短時間の大量アクセスを制限する仕組み）といった技術的防御が必要になります。

よくある質問（FAQ）