本文へスキップ

GLOSSARY

cohere-ai

Cohere(コヒア=法人向けの大規模言語モデルを提供するAI企業)が使うとされるクローラー。公式のクローラー文書がなく、挙動が未文書化のため、ログ照合は「手がかり」にとどまります。

こひあえーあい11分で読めます

cohere-ai とは何か

cohere-ai は、Cohere が使うとされる、UA文字列に「cohere-ai」を含むクローラーです。Cohere は法人向けにLLMや検索・生成AIの基盤を提供する企業で、cohere-ai はその製品のためのデータ取得に使われると見られています。ただし決定的なのは、Cohere が公式のクローラー説明ページ(クロール頻度・対象・目的・robots.txt での制御方法をまとめた文書)を公開していない点です。そのため観測サービスは cohere-ai を「未文書化のAIエージェント」に分類し、分類上は「AI Data Scraper(訓練用データセット向けの収集)」として記録しています。

サイト側から見ると、cohere-ai はUA文字列に「cohere-ai」を含めて来訪します。ただし公式文書がないため、UA文字列の正式な完全形やバージョン規則、対象範囲は Cohere からは明示されていません。運営者としては、アクセスログでこの名前を含む来訪を検知することはできますが、その来訪が何を目的とし、どんな頻度で来るのかは「実際にログに現れたパターンだけが唯一の信頼できる説明」という状態になります。

なぜ重要か(AI検索での位置づけ)

AI検索の可視化を測る観点では、cohere-ai は「素性が公式に説明されていないボット」という点でとりわけ慎重な扱いが要ります。学習・収集系(AI Data Scraper)と観測されている以上、取得されても Cohere の訓練データ候補に入る可能性を示すだけで、Cohere の製品出力での引用・露出を意味しません。しかも公式文書がないため、robots.txt をどこまで尊重するのか、どんな用途に使われるのかを確約できません。したがって、来訪量を「AI検索での評価」と読み替えるのは、文書化されたボット以上に危険です。当ラボの引用計測でも、未文書化ボットは「素性未確認」として、文書化された学習系・回答系とは分けて扱います。

仕組み(UA と robots.txt)

観測サービスは、cohere-ai を止めたい場合の robots.txt 例として「User-agent: cohere-ai」に続けて「Disallow: /」を書く方法を案内しています。ただし公式文書がないため、この拒否ルールを cohere-ai が確実に尊重するという保証は Cohere 側からは示されていません。さらに観測サービスは「cohere-ai は検証方(verification method)を公開していないため、どのクライアントもこのUA文字列を名乗ることができ、ログの一致は証明ではなく手がかりにすぎない」と明記しています。つまり、UA照合だけでは本物かどうか確定できず、IPレンジや逆引きでの照合も——公式IP情報が公開されていない以上——限界があります。

この「検証方法が公開されていない」という一点が、cohere-ai を文書化ボットと決定的に分けます。ClaudeBot や Meta-ExternalAgent、DuckAssistBot といった文書化ボットは、公式がUA仕様に加えてIPレンジや逆引きの手順を示しており、運営者は「UA名一致かつ公式IP範囲内」という二段階でなりすましを排除できます。cohere-ai にはその後ろ盾がありません。したがって、ログに「cohere-ai」を含む来訪が並んでいても、それが本当に Cohere によるものか、UA名を借用した第三者かを技術的に確定する手段が乏しいのです。観測サービスが「ログの一致は証明ではなく手がかり」と繰り返し注意するのは、この構造的な限界を踏まえてのことです。実務では、cohere-ai を扱う集計に必ず「素性未確認」の但し書きを添え、確定情報のように扱わないことが誠実な運用になります。

また、未文書化ボットには「実験や消し忘れの残骸である可能性」も観測サービスから指摘されています。つまり cohere-ai は、Cohere が現役で運用している製品用クローラーかもしれないし、過去の実験で使われたまま停止し忘れられた名前かもしれず、外部からはどちらとも断定できません。この不確実性は、AI検索の可視化を測るうえで見落とせません。文書化された学習系ボットなら「取得された=将来の訓練候補に入る可能性」と一定の意味づけができますが、cohere-ai の場合は用途すら公式に確認できないため、来訪の意味を積極的に解釈しすぎるのは危険です。挙動を知る唯一の現実的な手段は、実際にログに現れたアクセスパターン——量(どれだけ来るか)と対象(どのページに来るか)——を継続的に観測し、その事実だけを根拠にすることです。推測を事実として語らない姿勢が、未文書化ボットではとりわけ強く求められます。

cohere-ai は未文書化。公式の一次情報がなく、ログ照合は「手がかり」にとどまります。
項目内容
所有者Cohere(法人向けLLM・検索/生成AIを提供するAI企業)
3分類観測上は AI Data Scraper(学習・収集系に近い)。公式には未確定
公式クローラー文書なし(未文書化のAIエージェント)
UA文字列「cohere-ai」を含む(正式な完全形は公式非公開)
robots.txt観測上の拒否例あり。尊重の保証は公式には示されていない
検証方公開されていない(ログ一致は証明でなく手がかり)
  • UA検知の手がかり:アクセスログのUA文字列に「cohere-ai」を含むかで検知できるが、正式な完全形は公式非公開のため部一致で拾います。
  • robots.txtでの拒否例:`User-agent: cohere-ai` の行に続けて `Disallow: /` を書く法が観測サービスで案内されています。ただし尊重の保証はありません。
  • 検証の限界:cohere-ai は検証方法を公開しておらず、どのクライアントもUA名を名乗れるため、ログ一致は「証明」ではなく「手がかり」にすぎません。
  • 観測での監視:素性が不明なため、量(アクセス数)と対象(どのページに来るか)の両方を継続的に観測して挙動を把握するのが現実的。

具体例・データ

とえばアクセスログに「cohere-ai」を含む来訪が現れたとき、文書化されたボット(ClaudeBot や Meta-ExternalAgent など)なら公式のUA仕様・IPレンジ・用途説明と突き合わせて素性を確かめられます。しかし cohere-ai にはそれがありません。公式の検証方法もIP情報も公開されていないため、そのログが本物の Cohere によるものか、UA名を騙った別のボットかを確定できないのです。したがって cohere-ai については、下表のように「文書化ボットとの違い」を踏まえ、ログ一致を過信せず、実際に現れたアクセスパターンの観測を判断材料の中心に置くことになります。

未文書化ボットは、素性確認の裏取り手段が乏しいです。ログ一致を過信しません。
観点文書化ボット(例:ClaudeBot)cohere-ai(未文書化)
公式のUA仕様ありなし(完全形は非公開)
公式IPレンジ/検証方公開あり(照合で裏取り可)なし(ログ一致は手がかり止まり)
用途・頻度・対象公式説明あり公開(観測パターンが唯一の手がかり)
robots.txt の尊重公式に明言保証なし

横にスクロールできます

Cohere は、法人向けに大規模言語モデルや検索・生成AIの基盤(企業が自社データで賢い検索や回答を作るための土台)を提供する企業として知られています。だからこそ、その名を冠する cohere-ai が「AIモデルの訓練用データ収集」に使われていると観測されるのは筋の通る話ではあります。しかし、事業として妥当に見えることと、そのボットの挙動が公式に確認できることは、まったく別の問題です。本項で繰り返し強調してきたとおり、Cohere はクロール頻度・対象・目的・robots.txt の尊重・IPレンジ・検証方法のいずれも公式ドキュメントで明示していません。したがって、cohere-ai について運営者ができる最も確実なことは、「アクセスログという一次データを自分の手元で観測し、その事実だけを根拠に判断する」ことに尽きます。第三者観測は有用な手がかりですが、それも Cohere の一次情報ではないため、レポートでは出典(観測サービスか、自社ログか)を明示し、推測と事実を分けて記述する規律が欠かせません。

よくある誤解・注意点

実務での扱い方

  1. 素性を「未確認」と明示して扱う:cohere-ai は未文書化のため、集計・レポートでは文書化ボットと分け、「素性未確認」と注記します。
  2. robots.txt を書きつつ過信しない:拒否するなら `User-agent: cohere-ai` に `Disallow:` を書きます。ただし尊重の保証がないことを前提にします。
  3. 確実に止めたいならサーバー側で:robots.txt が効かない可能性を踏まえ、必要ならUAベース・IPベースのアクセス制御を併用します。
  4. アクセスパターンを観測する:量と対象(どのページに、どれくらいの頻度で来るか)を継続監視し、挙動から性格を推し量ります。
  5. ログ一致を証拠にしない:cohere-ai の来訪を「Cohere に評価された」証拠と読み替えません。可視化は別指標で測ります。

よくある質問(FAQ)

cohere-ai の公式ドキュメントはありますか?

クローラーとしての公式説明ドキュメントは確認されていません。第三者観測(darkvisitors/Known Agents)は cohere-ai を「未文書化のAIエージェント」として扱っており、クロール頻度・対象・目的は公開されていません。

robots.txt で cohere-ai を止められますか?

観測サービスは `User-agent: cohere-ai` に `Disallow: /` を書く拒否例を案内していますが、公式文書がないため尊重の保証はありません。確実に止めたい場合はサーバー側のUA/IPブロックを検討してください。

UAが cohere-ai なら本物と判断してよいですか?

いいえ。cohere-ai は検証方法を公開しておらず、どのクライアントもこのUA名を名乗れます。ログの一致は「手がかり」であって「証明」ではありません。

cohere-ai に取得されると Cohere のAIに引用されますか?

いいえ。観測上は学習・収集系(AI Data Scraper)で、取得は訓練データ候補に入る可能性を示すだけです。製品出力での引用・露出を意味するものではありません。加えて公式文書がないため用途自体が確定できず、来訪の意味を過剰に解釈しないことが重要です。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. Known Agents(旧 Dark Visitors): cohere-ai(新しいタブで開く)https://darkvisitors.com/agents/cohere-ai

関連用語

AIクローラー

えーあいくろーらー

生成AI各社がWebページを自動取得するボットの総称。学習・収集系と回答・検索系に大別されます。

LLM(大規模言語モデル)

えるえるえむ

大量の文章で学習し、次に来る語を確率で予測して文章を作るAI。AI検索の心臓部。

robots.txt

ろぼっつてきすと

サイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。

ユーザーエージェント

ゆーざーえーじぇんと

HTTPリクエストでソフトが自己申告する名前。ブラウザとボットの見分けに使うが、詐称も可能。

サーバーログ

さーばーろぐ

Webサーバーが全アクセスを1行ずつ機械的に記録するファイル。AIクローラーの訪問はここでしか見えません。

AIエージェント

えーあいえーじぇんと

目標を与えると、自分で手順を決め、道具(ツール)を使い、環境からの反応を見ながら遂行するAIシステム。指示のたびに人が細かく操作するチャットとは自律性の点で異なります。

AI検索

エーアイけんさく

生成AIを使って答えを導く検索の総称。

生成AI

せいせいえーあい

文章・画像・音声などを新しく作り出すAIの総称。AI検索とAIO対策の大前提。

ClaudeBot

くろーどぼっと

Anthropic(対話型AI「Claude」を開発する企業)がモデル訓練用データを集めるために公開する学習・収集系クローラー。

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編