YouBotは、You.comの検索・回答機能が参照するインデックスを作るためのクローラーです。You.comは、ユーザーの質問に対しAIが出典（ソース）付きで回答するAI検索エンジンで、YouBotはその回答の土台となる索引を構築します。第三者観測によれば、YouBotは「多くのAI顧客が問い合わせるインデックスに供給するため、体系的かつ大量に巡回する」とされ、単一ページだけでなくサイトの広い範囲を繰り返し巡回する挙動が見られます。アクセスが急増するときは、You.com側の顧客リクエストが引き金であることが多く、必ずしも自サイト側の変化が原因とは限りません。
サイト側から見ると、YouBotのアクセスはUA文字列に「YouBot」を含む形で届きます。公開されている代表的なUAは `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; YouBot/1.0; +https://docs.you.com/youbot; env:prod) Chrome/142.0.0.0 Safari/537.36` で、末尾のURLは説明ページへの案内、`env:prod` は本番環境からのアクセスであることを示します。運営者はこの名前を手がかりに検知し、robots.txtで `User-agent: YouBot` に `Disallow: /` を書けば全体を拒否できます。YouBotはrobots.txtを尊重する前提で運用されるため、許可・拒否の意思表示が効きやすいボットです。
YouBotは、学習・収集系（訓練用にデータを集めるだけのボット）よりも「回答・検索系」に近く、成果に一歩近い入口です。YouBotに取得・索引化されたページは、You.comの検索結果や回答の出典欄に載る候補になります。つまり、YouBotのアクセスがある＝You.comでの露出のチャンスがある、と読めます（ただし取得は必要条件であって、実際に特定の回答へ引用される十分条件ではありません）。当ラボの引用計測でも、You系は「回答・検索系」に分類し、純粋な訓練収集とは指標を分けて扱います。You.comは日本での知名度はまだ限定的ですが、AI検索エンジンの一角として、露出の取りこぼしを避けるうえで把握しておく価値があります。
検索・回答インデックス用。取得は「載る候補」であって「引用の確定」ではありません。| 項目 | 内容 |
|---|
| 所有者 | You.com（AIが出典付きで回答するAI検索エンジンを運営する米企業） |
| 3分類での位置 | 回答・検索系寄り（検索・回答インデックスの構築） |
| 主目的 | You.comの検索・回答が参照するインデックスの構築 |
| UAの例 | `Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; YouBot/1.0; +https://docs.you.com/youbot; env:prod) Chrome/142.0.0.0 Safari/537.36` |
| robots.txtの尊重 | 尊重する前提（許可・拒否を制御できる） |
| AI検索での意味 | You.comの検索結果・回答出典に載る候補になる（取得＝必ず引用ではない） |
robots.txtでの制御は素直です。You.comの検索・回答に載せたいなら、YouBotを一般ルールで通す（明示的に拒否しない）ことで許可します。載せたくないなら、`User-agent: YouBot` の行に `Disallow: /` を書いて拒否します。部分的に守るなら `/` を対象パスに置き換えます。YouBotはrobots.txtを尊重する前提なので、この意思表示は比較的そのまま効きますが、それでも詐称（UAだけ「YouBot」を騙る別のボット）の可能性はゼロではないため、負荷が問題になる場合はアクセス元IP・挙動の実測で裏を取ります。
- 所有者・用途：YouBotはYou.comのクローラーで、検索・回答が参照するインデックスを構築します（回答・検索系寄り）。
- 公開UAの例：`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; YouBot/1.0; +https://docs.you.com/youbot; env:prod) Chrome/142.0.0.0 Safari/537.36`。
- robots.txtでの拒否例：`User-agent: YouBot` の行に `Disallow: /` を続けるとサイト全体を拒否できます（部分拒否は対象パスを指定）。
- 観測される挙動：サイトの広い範囲を体系的・反復的に巡回。急増はYou.com側の顧客リクエストが引き金のことが多い（第三者観測）。
You.comは、米国発のAI検索エンジンで、ChatGPTの検索機能やPerplexityと同じ「AIが出典付きで答える」系統に属します。従来のGoogle検索が10本の青いリンクを並べるのに対し、You.comは質問に対してAIが要約回答を返し、その根拠となったWebページを出典として提示します。近年は個人向けの検索だけでなく、企業向けにAPI（＝外部プログラムから検索・回答機能を呼び出せる窓口）を提供し、他社のAI製品がYou.comのインデックスや回答生成を裏側で利用する形にも広がっています。第三者観測が「多くのAI顧客が問い合わせるインデックス」と表現するのは、この企業向け提供を指しています。YouBotは、この検索・回答・API提供のすべてを支えるインデックスを構築する足回りです。
日本では、You.comの一般消費者向けの知名度はGoogleやChatGPTほど高くありません。しかし「知名度が低い＝無視してよい」ではない点に注意が要ります。YouBotは自社ページを索引化し、You.com本体だけでなく、You.comのAPIを裏で使う他社製品の回答にも自社が現れ得る経路になります。露出のチャンスを取りこぼさないため、あるいは逆に望まない収集を止めるために、YouBotの許可・拒否方針は「知らない検索エンジンだから」と放置せず、意識的に決めておくべきです。
YouBotのように「API経由で他社製品の裏側にも回る」回答・検索系は、AI検索時代に増えていくタイプです。従来は「検索エンジン＝消費者が直接使う窓口」でしたが、いまは1つの検索・回答基盤が、自社サービスと、その基盤をAPIで組み込んだ多数の他社サービスの両方に露出をもたらします。運営者から見れば、YouBotを許可することの見返りは「You.comという1サービスへの掲載」にとどまらず、「その基盤を使う下流サービス群への波及的な露出」まで含み得ます。逆に拒否すれば、その波及ごと機会を手放すことになります。だからこそ、回答・検索系の許可・拒否は、目に見える1サービスの知名度だけで決めず、「その基盤が下流にどれだけ広がっているか」まで見て判断するのが、露出設計として合理的です。
YouBotは回答・検索系の一角。露出を狙うなら許可、保護を優先するなら拒否と、方針で判断します。| 観点 | YouBot | PerplexityBot | OAI-SearchBot |
|---|
| 所有者 | You.com | Perplexity | OpenAI |
| 主目的 | You.comの検索・回答＋API向け索引 | 回答の出典候補の索引化 | ChatGPT検索の表示候補の索引化 |
| robots.txtの尊重 | 尊重する前提 | 公式は尊重すると説明 | 尊重する前提 |
| 公式IPレンジ | 公開情報を要確認 | perplexitybot.json で公開 | searchbot.json で公開 |
| 3分類 | 回答・検索系寄り | 回答・検索系 | 回答・検索系 |
横にスクロールできます
- 露出方針を決める：You.comの検索・回答に載せたいならYouBotを許可、載せたくないなら拒否します。
- robots.txtを整える：許可なら一般ルールで通します。拒否なら `User-agent: YouBot` に `Disallow: /` を書きます。部分的に守るなら対象パスを指定します。
- ログでUAを集計する：YouBotの来訪を「回答・検索系」として、純粋な学習・収集系（訓練収集）と分けて数えます。
- IP・挙動で裏を取る：大量アクセスや不審挙動があれば、UA名だけで判断せずアクセス元IP・挙動を実測して詐称を除外します。
- 露出は別指標で計測する：YouBotのアクセス数だけでなく、実際にYou.comの検索・回答へ出典として載ったかをモニタリングして成果を測ります。
補足として、YouBotは「回答・検索系」に属するため、学習・収集系と違って“許可することにメリットがある”ボットです。ここが実務判断の分かれ目になります。Bytespiderのような学習・収集系は、拒否してもAI検索の露出への影響が小さく、サーバー負荷軽減のメリットが上回りやすい一方、YouBotのような回答・検索系を拒否すると、その検索エンジンの回答・検索結果から自社が載る候補ごと外れてしまいます。したがって、robots.txtを一律に「AIボットは全部拒否」とすると、露出を取りに行きたい回答・検索系まで巻き込んで機会損失を招きかねません。YouBotを扱うときは、まず自社が「You.comでの露出を欲しいのか、守りを優先するのか」を決め、その方針に沿って回答・検索系だけは個別に許可・拒否を切り分ける——この粒度の判断が、AI検索時代のrobots.txt設計の要になります。
YouBotを許可すると、You.comの回答に出典として載りますか？
載る「候補」になります。許可＝索引化の対象になるという意味で、実際に特定の回答へ引用されるかは質問内容や関連度で決まります。取得は必要条件であって十分条件ではありません。
YouBotは学習・収集系ですか、回答・検索系ですか？
回答・検索系寄りです。YouBotはYou.comの検索・回答が参照するインデックスを構築するためのクローラーで、純粋にモデル訓練だけを目的とする学習・収集系とは分けて考えます。
robots.txtで拒否すればYou.comから完全に消えますか？
YouBotはrobots.txtを尊重する前提なので、拒否すれば索引化の対象からは外れやすいです。ただしUA詐称の可能性はゼロではないため、確実な遮断が必要なら公開情報での照合と防御層での対策を併用してください。
You.comは日本ではあまり聞きませんが、把握する意味はありますか？
あります。知名度に関わらず、AI検索エンジンの一角として自社ページを索引化し得ます。露出の取りこぼしや、逆に望まない収集を避けるためにも、YouBotの許可・拒否方針は明確にしておく価値があります。
AIボットを一律に全部拒否するのは良い方針ですか？
慎重に判断すべきです。学習・収集系だけを拒否したいつもりでも、robots.txtを大まかに書くとYouBotのような回答・検索系まで巻き込み、その検索エンジンの回答に載る候補ごと自社を外してしまいます。露出を取りに行きたい回答・検索系と、拒否してよい学習・収集系は、分類ごとに切り分けて記述するのが安全です。
