Diffbot

Diffbotとは何か

Diffbotは、米国のAIデータ企業です。同社の思想は「Webそのものを1つの巨大な構造化データベースにする」こと。ふつうのWebスクレイピング（＝ページから機械的にデータを吸い出す作業）が“ばらばらの平たいデータの山”を作るのに対し、Diffbotはページから取り出した情報を「事実（ファクト）」の単位に分解し、事実どうしを相互にリンクさせてグラフ構造にします。たとえばある人物のプロフィールを、氏名・所属・役職といったつながりを持つ節点の集まりへと変換し、別のページに出てくる同一人物と同定して1つのノードに束ねる、という具合です。この考え方が、同社のナレッジグラフやGraphRAG（グラフラグ＝グラフ構造の知識をAIの回答生成に使う手法）を支えています。多くの利用者にとっては、ルールを書かずにどんなページからも項目を抜き出すExtract APIが最も身近な入口です。

サイト側から見ると、DiffbotのアクセスはHTTPリクエストのUA文字列に「Diffbot」を含む形で届きます。同社が公開している代表的なUAは `Mozilla/5.0 (Macintosh; Intel Mac OS X 14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.1175.32 Safari/537.36 Diffbot-User/0.1 (+http://www.diffbot.com)` で、末尾のURLは説明ページへの案内です（末尾の `Diffbot-User` はユーザーの指示に応じてページを取りに行く取得系の名乗りで、用途に応じて名乗りが変わる点に注意します）。運営者はこの名前を手がかりに来訪を検知し、robots.txtで `User-agent: Diffbot` に `Disallow: /` を書けば全体を拒否できます。Diffbotが第三者提供型（＝集めたデータを顧客へ供給するサービス）である以上、拒否は「自社の情報を、Diffbot経由で他社のAIやデータ商品に使わせない」意思表示として機能します。

なぜ重要か（AI検索での位置づけ）

AI検索の可視化（＝生成AIの回答に自社が引用・参照されること）を測るうえで、Diffbotは「間接的な入口」にあたります。Diffbotそのものは検索エンジンでも対話型AIでもなく、集めた事実を他社のAIシステムやアプリに供給する“素材の卸売り”に近い存在です。したがってDiffbotに取得されたからといって、特定のAIの回答画面に自社が出典として並ぶわけではありません。逆に、Diffbotのナレッジグラフに自社の事実が正確に取り込まれていれば、それを利用する下流のAIやアプリが自社情報を扱う土台にはなり得ます。当ラボが引用計測（＝AIの回答に誰が引用されたかを継続測定する研究）で学習・収集系と回答・検索系を厳密に分けているのは、まさにこの「取り込まれること」と「回答に出ること」の混同を避けるためです。

仕組み（UAとrobots.txtの制御）

robots.txtでの制御は、他のクローラーと同じ考え方で行えます。拒否したいなら、`User-agent: Diffbot` の行に続けて `Disallow: /` を書けばサイト全体を対象にできます。特定のディレクトリだけ守りたい場合は、`/` を対象パス（例：`/members/`）に置き換えます。ただしrobots.txtは「自動巡回クローラーに対する紳士協定」であって、技術的な強制力を持つ壁ではありません。確実に止めたい場合は、robots.txtに加えてファイアウォールやWAF（＝Webアプリを守る防御層）でIP単位・レート単位の遮断を併用します。

具体例・データ

• 所有者・用途：Diffbotは公開Webを「事実」に構造化し、ナレッジグラフやExtract APIとして第三者へ提供する米国企業（公式ドキュメントで確認可能）。
• 公開UAの例：`Mozilla/5.0 (Macintosh; Intel Mac OS X 14_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.1175.32 Safari/537.36 Diffbot-User/0.1 (+http://www.diffbot.com)`。
• robots.txtでの拒否例：`User-agent: Diffbot` の行に `Disallow: /` を続けるとサイト全体を拒否できます（部分拒否は `/` を対象パスに変えます）。
• UA検知の手がかり：アクセスログのUA文字列に「Diffbot」を部分一致で含むかで判別します。ただし詐称の可能性を排除するには、公開されたアクセス元IPとの照合が要ります。

主要ボットとの比較（第三者提供という立ち位置）

Diffbotの性格は、他の有名なAIボットと並べると際立ちます。GPTBot（ジーピーティーボット＝OpenAIの訓練収集ボット）やClaudeBotは、「自社のAI」を賢くするために公開Webを集める“自家消費型”の学習・収集系です。これに対しDiffbotは、集めた事実を自社のAIだけでなく世界中の顧客企業に売る“第三者提供型（AIデータプロバイダー）”です。この違いは、robots.txtで拒否したときの意味に効いてきます。GPTBotを拒否すれば「OpenAIの1社の訓練から外れる」だけですが、Diffbotを拒否すると「Diffbotを経由して自社情報を使うすべての下流の顧客・AI」への供給を一括で断つことになります。1つの拒否が及ぶ範囲が、自家消費型より広いのが特徴です。

なぜ無名でも把握すべきか

Diffbotは一般消費者向けの知名度は高くありませんが、AIデータ供給の裏側では広く使われています。だからこそ、名前を知らないまま放置すると2つの実害が生じます。第一に、自社の公開情報（人物・組織・製品の事実）が、意図しない下流のAIやデータ商品に、気づかぬうちに組み込まれ得ること。第二に、Diffbotのナレッジグラフに古い・誤った事実が固定されると、それを参照する複数の下流AIが同じ誤りを繰り返す“誤情報の増幅”が起きかねないこと。逆に言えば、Diffbotに正確な事実を取り込ませることは、下流のAI全体に正しい自社像を広げる機会にもなります。無名ボットこそ、許可・拒否と「取り込ませる事実の正確さ」を意識的に設計する価値があります。

よくある誤解・注意点

実務での扱い方

1. まず方針を決める：自社の公開情報が、Diffbot経由で他社のAIやデータ商品に取り込まれることを許容するか、拒否するかを、自社の考えとサーバー負荷から判断します。
2. robots.txtを整える：拒否するなら `User-agent: Diffbot` に `Disallow: /` を書きます。部分的に守るなら対象パスを指定します。
3. ログでUAを集計する：Diffbotの来訪回数を、回答・検索系ボット（AIの回答出典に関わるもの）と混ぜず、「学習・収集系」として分けて数えます。
4. IPで裏を取る：多量アクセスや不審な挙動があれば、UA名だけで判断せず、公開されたアクセス元IPと照合して詐称を除外します。
5. 可視化は別指標で測る：AI検索での引用露出は、Diffbotの数ではなく、実際の回答出典のモニタリングで評価します。

補足として、Diffbotのようなデータプロバイダーを扱うときは「拒否か放置か」の二択に加えて、「正しく取り込ませる」という第三の選択肢も検討する価値があります。自社サイトに構造化データ（Schema.org〈スキーマ・オルグ＝検索エンジンやAIが理解しやすいよう、ページ内容の意味をタグで明示する共通語彙〉のマークアップ）を整えておくと、Diffbotに限らず事実抽出型のクローラーが自社の名称・所在・製品・組織関係を誤りなく解釈しやすくなります。無断学習を嫌って一律に拒否するのも1つの立場ですが、下流のAIに正確な自社像を届けたいなら、構造化データで“正しく読ませる”設計と、robots.txtでの取捨選択を組み合わせるのが実務的です。いずれの立場でも、判断の前提になるのは「Diffbotの取得数」ではなく、自社が下流でどう扱われているかの実態把握である点は変わりません。

よくある質問（FAQ）