DuckAssistBot は、DuckDuckGo の検索に組み込まれた DuckAssist(=検索結果の上部などに出るAIによる要約回答機能。出典リンクを目立つ形で併記するのが特徴)のために、回答の出典候補となるページをリアルタイムで取得するクローラーです。3分類でいえば、モデル訓練用にデータをためる学習・収集系ではなく、「回答のために必要なページをその場で取りに行く」回答・検索系/フェッチャー寄りの系統にあたります。DuckDuckGo が「モデル訓練には一切使わない」と明言しているため、学習目的のスクレイピングとは目的がはっきり異なります。
サイト側から見ると、DuckAssistBot はUA文字列に「DuckAssistBot」を含めて来訪します。公式が示す完全なUA文字列は「DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html)」で、末尾のURLが DuckDuckGo のドキュメントを指します。加えて DuckDuckGo は、DuckAssistBot のアクセス元IPアドレス範囲を機械可読な JSON(duckassistbot.json)で公開しており、UA名の照合だけでなくIPレンジとの突き合わせでなりすましを排除できるようにしています。
DuckAssistBot は「DuckAssist の回答に出典として載る候補を集める」役割なので、AI検索の可視化に直接関わるボットです。DuckAssist の回答は出典を目立つ形で引用する設計のため、ここに自社ページが出典として選ばれれば、AI要約経由での流入・露出につながり得ます。逆に、robots.txt で DuckAssistBot を拒否すれば、AIアシスト回答の出典候補から外れます。ただし重要なのは、DuckDuckGo が「オプトアウトしても通常の検索順位(organic search rankings)には影響せず、検索結果への表示可否も変わらない」と明言している点です。つまり「AI要約の出典に載るか」と「従来の検索結果に出るか」は別レイヤーで制御されており、両者を混同してはいけません。
DuckAssistBot は robots.txt を尊重するボットです。DuckDuckGo 公式は、AIアシスト回答の出典候補から外れたい場合、対象ドメインの robots.txt で DuckAssistBot の UA を拒否(Disallow)すればよいと案内しています。反映のタイミングも明記されており、robots.txt を更新して DuckAssistBot を拒否すると「変更は72時間後に有効になり、以後 DuckAssistBot はサイトのクロールを停止する」とされています。オプトアウトで問題があれば [email protected] に連絡できる窓口も用意されています。
DuckAssistBot は「リアルタイム取得」である点が、他社の回答系ボットと比べても際立ちます。多くの回答・検索系クローラー(回答の出典候補をあらかじめ広く索引化しておく型)は、事前にインデックスを作っておき、質問が来たらその索引から出典を選びます。これに対し DuckAssistBot は、DuckAssist の回答を組み立てる局面で必要なページをその都度取りに行く設計に寄っています。この違いは運営者にとって実務的な意味を持ちます。リアルタイム取得型は、robots.txt を拒否に変えれば比較的早く(公式には72時間で)取得が止まる一方、許可している間はページの最新状態が回答に反映されやすい、という性質があるためです。したがって、AI要約の出典として最新情報を届けたいなら、DuckAssistBot を許可しつつページを新鮮に保つ運用が理にかなっています。
なりすまし(UA詐称)への備えは、DuckAssistBot では比較的やりやすい部類です。DuckDuckGo は DuckAssistBot のアクセス元IPアドレスを機械可読な JSON(duckassistbot.json)で公開しているため、UA文字列に「DuckAssistBot」を含む来訪について、そのIPが公式レンジに入るかを機械的に照合できます。UA名は誰でも詐称できますが、公式IP情報が公開されている以上、「UA名一致かつ公式IPレンジ内」という二段階の条件で確度の高い判定ができます。逆に、UA名だけが一致してIPが公式外なら、それは DuckAssistBot を騙る別のボットである可能性が高い、と切り分けられます。遮断・許可・課金対象化などの判断は、必ずこのIP照合を通してから行うのが安全です。
DuckAssistBot は DuckAssist の出典取得用。robots.txt で拒否でき、拒否は「AI要約の出典から外れる」意思表示。| 項目 | 内容 |
|---|
| 所有者 | DuckDuckGo(プライバシー重視の検索エンジン) |
| 3分類 | 回答・検索系(DuckAssist のためのリアルタイム取得) |
| モデル訓練への利用 | 使わない(公式明言:not used to train AI models) |
| UA文字列 | DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html) |
| IP情報 | 公式が JSON(duckassistbot.json)で公開 |
| robots.txt | 尊重する(拒否で72時間後に停止) |
| オプトアウトの副作用 | 通常の検索順位・検索結果への表示には影響しない |
- UA検知の手がかり:アクセスログのUA文字列に「DuckAssistBot」を含むかで判別します(部分一致で拾います)。
- robots.txtでの拒否例:`User-agent: DuckAssistBot` の行に続けて `Disallow: /` を書くとAIアシスト回答の出典候補から外れます。反映は72時間後。
- IP照合:DuckDuckGo が公開する duckassistbot.json のIPレンジと突き合わせ、UA詐称を排除します。
- 副作用の理解:オプトアウトは通常の検索順位・検索結果への表示に影響しません(DuckAssist の出典から外れるだけ)。
たとえば、DuckDuckGo でユーザーがある話題を検索し、結果上部に DuckAssist のAI要約が表示される場面を考えます。この要約に付く出典リンクの候補を集めているのが DuckAssistBot です。自社ページがこの出典に選ばれれば、AI要約経由での認知・流入が期待できます。逆に「AI要約の材料に使われたくない」場合は robots.txt で DuckAssistBot を拒否すれば、72時間後に出典候補から外れます。このとき、通常の検索結果(オーガニック)での自社の表示や順位は変わらないため、「AI要約はオプトアウトしつつ、従来の検索流入は維持する」といった使い分けが可能です。
AI要約の出典可否と、従来の検索順位は別レイヤーで制御できます。| 判断 | 設定 | 結果 | 通常検索への影響 |
|---|
| AI要約の出典に載りたい | DuckAssistBot を許可(Allow) | DuckAssist の出典候補に入る | 影響なし |
| AI要約に使われたくない | DuckAssistBot を拒否(Disallow) | 72時間後に出典候補から外れる | 影響なし(順位・表示は不変) |
横にスクロールできます
DuckAssistBot をめぐる制御は、DuckDuckGo のプライバシー方針とも整合しています。DuckDuckGo はユーザーの検索行動を追跡・保存しないことを掲げる検索エンジンであり、DuckAssist もその方針の延長線上で、出典を明示して回答の根拠を透明にする設計を採っています。運営者にとってのメリットは明快です。DuckAssist の回答は出典リンクを目立つ形で併記するため、そこに自社ページが選ばれれば、AI要約という新しい面での露出と、そこからのクリック流入が期待できます。しかも「AI要約の出典可否」と「従来の検索順位」が別レイヤーで制御できるので、たとえば速報性の高いページはAI要約の出典として積極的に開放し、機密性の高いページだけをオプトアウトする、といった細やかな出し分けも可能です。AI検索時代の可視化戦略として、DuckAssistBot の許可・拒否をページ単位で設計する価値があります。
- 方針を決める:DuckAssist のAI要約の出典に載りたいか、載りたくないかを明確にします。載りたいなら DuckAssistBot を許可します。
- robots.txt を整える:オプトアウトするなら `User-agent: DuckAssistBot` に `Disallow:` を書きます。反映は72時間後である点を前提にします。
- 検索流入と切り分ける:オプトアウトは通常の検索順位に影響しないため、「AI要約は外すが検索流入は維持」の判断が可能。目的に応じて設定します。
- IPで裏を取る:不審なアクセスは duckassistbot.json のIPレンジと照合し、UA詐称を排除します。
- 出典露出を計測する:AI検索での可視化は、DuckAssistBot の来訪数ではなく DuckAssist の実際の出典表示をモニタリングして評価します。
DuckAssistBot をブロックすると DuckDuckGo の検索順位は下がりますか?
下がりません。DuckDuckGo は、DuckAssistBot のオプトアウトは通常の検索順位に影響せず、検索結果への表示可否も変わらないと明言しています。影響するのは DuckAssist(AI要約)の出典候補だけです。
DuckAssistBot に取得されたデータはAIの訓練に使われますか?
いいえ。DuckDuckGo は、このデータをいかなる形でもAIモデルの訓練には使わないと明言しています。DuckAssistBot は回答のためのリアルタイム取得です。
robots.txt で拒否したらすぐ止まりますか?
すぐではありません。DuckDuckGo は、robots.txt で DuckAssistBot を拒否すると変更は72時間後に有効になり、以後クロールを停止すると案内しています。問題があれば [email protected] に連絡できます。
UAが DuckAssistBot なら本物と信じてよいですか?
いいえ。UAは詐称可能です。DuckDuckGo が公開する duckassistbot.json のIPレンジと照合して裏を取ってください。