cohere-ai は、Cohere が使うとされる、UA文字列に「cohere-ai」を含むクローラーです。Cohere は法人向けにLLMや検索・生成AIの基盤を提供する企業で、cohere-ai はその製品のためのデータ取得に使われると見られています。ただし決定的なのは、Cohere が公式のクローラー説明ページ(クロール頻度・対象・目的・robots.txt での制御方法をまとめた文書)を公開していない点です。そのため観測サービスは cohere-ai を「未文書化のAIエージェント」に分類し、分類上は「AI Data Scraper(訓練用データセット向けの収集)」として記録しています。
サイト側から見ると、cohere-ai はUA文字列に「cohere-ai」を含めて来訪します。ただし公式文書がないため、UA文字列の正式な完全形やバージョン規則、対象範囲は Cohere からは明示されていません。運営者としては、アクセスログでこの名前を含む来訪を検知することはできますが、その来訪が何を目的とし、どんな頻度で来るのかは「実際にログに現れたパターンだけが唯一の信頼できる説明」という状態になります。
AI検索の可視化を測る観点では、cohere-ai は「素性が公式に説明されていないボット」という点でとりわけ慎重な扱いが要ります。学習・収集系(AI Data Scraper)と観測されている以上、取得されても Cohere の訓練データ候補に入る可能性を示すだけで、Cohere の製品出力での引用・露出を意味しません。しかも公式文書がないため、robots.txt をどこまで尊重するのか、どんな用途に使われるのかを確約できません。したがって、来訪量を「AI検索での評価」と読み替えるのは、文書化されたボット以上に危険です。当ラボの引用計測でも、未文書化ボットは「素性未確認」として、文書化された学習系・回答系とは分けて扱います。
観測サービスは、cohere-ai を止めたい場合の robots.txt 例として「User-agent: cohere-ai」に続けて「Disallow: /」を書く方法を案内しています。ただし公式文書がないため、この拒否ルールを cohere-ai が確実に尊重するという保証は Cohere 側からは示されていません。さらに観測サービスは「cohere-ai は検証方法(verification method)を公開していないため、どのクライアントもこのUA文字列を名乗ることができ、ログの一致は証明ではなく手がかりにすぎない」と明記しています。つまり、UA照合だけでは本物かどうか確定できず、IPレンジや逆引きでの照合も——公式IP情報が公開されていない以上——限界があります。
この「検証方法が公開されていない」という一点が、cohere-ai を文書化ボットと決定的に分けます。ClaudeBot や Meta-ExternalAgent、DuckAssistBot といった文書化ボットは、公式がUA仕様に加えてIPレンジや逆引きの手順を示しており、運営者は「UA名一致かつ公式IP範囲内」という二段階でなりすましを排除できます。cohere-ai にはその後ろ盾がありません。したがって、ログに「cohere-ai」を含む来訪が並んでいても、それが本当に Cohere によるものか、UA名を借用した第三者かを技術的に確定する手段が乏しいのです。観測サービスが「ログの一致は証明ではなく手がかり」と繰り返し注意するのは、この構造的な限界を踏まえてのことです。実務では、cohere-ai を扱う集計に必ず「素性未確認」の但し書きを添え、確定情報のように扱わないことが誠実な運用になります。
また、未文書化ボットには「実験や消し忘れの残骸である可能性」も観測サービスから指摘されています。つまり cohere-ai は、Cohere が現役で運用している製品用クローラーかもしれないし、過去の実験で使われたまま停止し忘れられた名前かもしれず、外部からはどちらとも断定できません。この不確実性は、AI検索の可視化を測るうえで見落とせません。文書化された学習系ボットなら「取得された=将来の訓練候補に入る可能性」と一定の意味づけができますが、cohere-ai の場合は用途すら公式に確認できないため、来訪の意味を積極的に解釈しすぎるのは危険です。挙動を知る唯一の現実的な手段は、実際にログに現れたアクセスパターン——量(どれだけ来るか)と対象(どのページに来るか)——を継続的に観測し、その事実だけを根拠にすることです。推測を事実として語らない姿勢が、未文書化ボットではとりわけ強く求められます。
cohere-ai は未文書化。公式の一次情報がなく、ログ照合は「手がかり」にとどまります。| 項目 | 内容 |
|---|
| 所有者 | Cohere(法人向けLLM・検索/生成AIを提供するAI企業) |
| 3分類 | 観測上は AI Data Scraper(学習・収集系に近い)。公式には未確定 |
| 公式クローラー文書 | なし(未文書化のAIエージェント) |
| UA文字列 | 「cohere-ai」を含む(正式な完全形は公式非公開) |
| robots.txt | 観測上の拒否例あり。尊重の保証は公式には示されていない |
| 検証方法 | 公開されていない(ログ一致は証明でなく手がかり) |
- UA検知の手がかり:アクセスログのUA文字列に「cohere-ai」を含むかで検知できるが、正式な完全形は公式非公開のため部分一致で拾います。
- robots.txtでの拒否例:`User-agent: cohere-ai` の行に続けて `Disallow: /` を書く方法が観測サービスで案内されています。ただし尊重の保証はありません。
- 検証の限界:cohere-ai は検証方法を公開しておらず、どのクライアントもUA名を名乗れるため、ログ一致は「証明」ではなく「手がかり」にすぎません。
- 観測での監視:素性が不明なため、量(アクセス数)と対象(どのページに来るか)の両方を継続的に観測して挙動を把握するのが現実的。
たとえばアクセスログに「cohere-ai」を含む来訪が現れたとき、文書化されたボット(ClaudeBot や Meta-ExternalAgent など)なら公式のUA仕様・IPレンジ・用途説明と突き合わせて素性を確かめられます。しかし cohere-ai にはそれがありません。公式の検証方法もIP情報も公開されていないため、そのログが本物の Cohere によるものか、UA名を騙った別のボットかを確定できないのです。したがって cohere-ai については、下表のように「文書化ボットとの違い」を踏まえ、ログ一致を過信せず、実際に現れたアクセスパターンの観測を判断材料の中心に置くことになります。
未文書化ボットは、素性確認の裏取り手段が乏しいです。ログ一致を過信しません。| 観点 | 文書化ボット(例:ClaudeBot) | cohere-ai(未文書化) |
|---|
| 公式のUA仕様 | あり | なし(完全形は非公開) |
| 公式IPレンジ/検証方法 | 公開あり(照合で裏取り可) | なし(ログ一致は手がかり止まり) |
| 用途・頻度・対象 | 公式説明あり | 非公開(観測パターンが唯一の手がかり) |
| robots.txt の尊重 | 公式に明言 | 保証なし |
横にスクロールできます
Cohere は、法人向けに大規模言語モデルや検索・生成AIの基盤(企業が自社データで賢い検索や回答を作るための土台)を提供する企業として知られています。だからこそ、その名を冠する cohere-ai が「AIモデルの訓練用データ収集」に使われていると観測されるのは筋の通る話ではあります。しかし、事業として妥当に見えることと、そのボットの挙動が公式に確認できることは、まったく別の問題です。本項で繰り返し強調してきたとおり、Cohere はクロール頻度・対象・目的・robots.txt の尊重・IPレンジ・検証方法のいずれも公式ドキュメントで明示していません。したがって、cohere-ai について運営者ができる最も確実なことは、「アクセスログという一次データを自分の手元で観測し、その事実だけを根拠に判断する」ことに尽きます。第三者観測は有用な手がかりですが、それも Cohere の一次情報ではないため、レポートでは出典(観測サービスか、自社ログか)を明示し、推測と事実を分けて記述する規律が欠かせません。
- 素性を「未確認」と明示して扱う:cohere-ai は未文書化のため、集計・レポートでは文書化ボットと分け、「素性未確認」と注記します。
- robots.txt を書きつつ過信しない:拒否するなら `User-agent: cohere-ai` に `Disallow:` を書きます。ただし尊重の保証がないことを前提にします。
- 確実に止めたいならサーバー側で:robots.txt が効かない可能性を踏まえ、必要ならUAベース・IPベースのアクセス制御を併用します。
- アクセスパターンを観測する:量と対象(どのページに、どれくらいの頻度で来るか)を継続監視し、挙動から性格を推し量ります。
- ログ一致を証拠にしない:cohere-ai の来訪を「Cohere に評価された」証拠と読み替えません。可視化は別指標で測ります。
cohere-ai の公式ドキュメントはありますか?
クローラーとしての公式説明ドキュメントは確認されていません。第三者観測(darkvisitors/Known Agents)は cohere-ai を「未文書化のAIエージェント」として扱っており、クロール頻度・対象・目的は公開されていません。
robots.txt で cohere-ai を止められますか?
観測サービスは `User-agent: cohere-ai` に `Disallow: /` を書く拒否例を案内していますが、公式文書がないため尊重の保証はありません。確実に止めたい場合はサーバー側のUA/IPブロックを検討してください。
UAが cohere-ai なら本物と判断してよいですか?
いいえ。cohere-ai は検証方法を公開しておらず、どのクライアントもこのUA名を名乗れます。ログの一致は「手がかり」であって「証明」ではありません。
cohere-ai に取得されると Cohere のAIに引用されますか?
いいえ。観測上は学習・収集系(AI Data Scraper)で、取得は訓練データ候補に入る可能性を示すだけです。製品出力での引用・露出を意味するものではありません。加えて公式文書がないため用途自体が確定できず、来訪の意味を過剰に解釈しないことが重要です。