llms.txt

llms.txtとは

llms.txt（えるえるえむえすてきすと）は、ウェブサイトのルート（＝ドメイン直下の最上位。例 https://example.com/llms.txt）に一枚置くプレーンテキストのファイルで、LLM（Large Language Model＝大量の文章で学習した生成AIの中核モデル。ChatGPTやClaudeの頭脳にあたる）へ向けて、サイトの概要・重要ページ・補足文書へのリンクをMarkdown（＝「#」で見出し、「-」でリストを表す軽量な記述書式）で整理して伝えるための提案仕様です。2024年9月に、機械学習の実務家として知られる Jeremy Howard（ジェレミー・ハワード）が提唱しました。名前は robots.txt や sitemap.xml といった、サイトのルートに決まった名前で置く慣行になぞらえて付けられています。

背景には、LLMが抱える構造的な制約があります。LLMはコンテキストウィンドウ（＝一度に読み込める文章量の上限。人間でいう短期記憶の容量にあたる）が限られ、多くのウェブサイトを丸ごと読み込むことができません。加えて実際のHTML（＝ウェブページを構成する元のコード）には、ナビゲーション、広告、JavaScript（＝ページを動かすプログラム）が混在し、本文だけを正確に抜き出すのは難しく誤りも生じやすいです。llms.txt は、この「読み取りづらさ」をサイト側があらかじめ整理して解消し、AIが要点へ最短で到達できるようにする発想の仕組みです。人間が図書館で司書に「この分野の要点はどの棚か」を尋ねるように、AIに対してサイト側が案内役を務める、と捉えると理解しやすいです。

公式仕様（llmstxt.org）は、この案内を「Markdownという、人間もLLMも読める書式」で書くことを選んでいます。XML（＝タグで構造を厳密に表す機械向けの書式）のような古典的な構造化フォーマットではなくMarkdownを採る理由は、多くの llms.txt が最終的にLLMやAIエージェント（＝人の代わりに手順を実行する自律的なAI）に読まれる前提だからです。同時に、決まった順序と要素を持つため、パーサー（＝機械的に解析するプログラム）や正規表現でも安定して処理できるよう設計されています。

なぜ重要か（AI検索での位置づけ）

AI検索（＝生成AIが検索結果を要約して答える方式。GoogleのAI OverviewsやPerplexityなど）では、AIがサイト本文を正確に読み取れるかどうかが、引用・参照されるかを左右します。本文が構造的に整理されていないと、AIが要点を取り違えたり、そもそも参照候補から外れたりします。llms.txt は、サイト運営者が「AIに何を、どの順で読ませたいか」を明示できる数少ない手段のひとつであり、AIO（AI Optimization＝AIに引用されやすくする最適化。当ラボの群Aの主題）の文脈で先行的に注目されています。

とりわけ効果が見込まれるのは「推論時（インファレンス）」の利用、すなわち利用者がAIに特定のトピックを質問し、AIがその場で外部情報を参照して答えを組み立てる場面です。公式も、llms.txt は主に学習データへの取り込み（＝モデルを鍛えるための一括吸収）ではなく、利用者が質問した瞬間の参照に役立つと説明しています。たとえば開発者がコーディング用のAIに「このライブラリの使い方を教えて」と尋ねたとき、そのライブラリのドキュメントが llms.txt で整理されていれば、AIは要点に素早く到達できます。

ただし位置づけには冷静さが要ります。llms.txt はあくまで「案内状」であって「命令」ではありません。AI側がそれを読みに来る保証も、内容を優先する保証も、現時点では規格として定められていません。robots.txt が「クロール（＝自動巡回）してよいか」の可否を伝える確立した標準であるのに対し、llms.txt は「読むならここが要点」と案内する任意の提案であり、両者は目的も強制力も別物です。過度な期待は禁物ですが、対応するツールが増えれば先行者利益を得られる余地はある、という位置づけが実態に近いです。

仕組み（ファイルの構造）

公式仕様は、Markdownで次の順に並べることを定めています。順序と要素が固定されているため、機械的な解析にも耐えます。

• H1見出し（＝「# サイト名」の形の最上位見出し）：プロジェクトまたはサイトの名前。唯一の必須項目で、これだけは省略できません。
• ブロック引用（＝「>」で始まる引用ブロック）：サイトを理解するのに必要な要点を短くまとめた概要。以降を読み解く前提情報を凝縮して置きます。
• 見出しを含まない任意のセクション：文章やリストで、ファイルの読み方や補足情報を説明します。ここには見出し（H2など）を置かない決まりになっています。
• H2見出し（＝「## セクション名」の第二階層見出し）で区切られた「ファイル一覧」：詳細情報のあるURLを、リンクと短い説明のリストで列挙します。ゼロ個でも複数でも構いません。
• 「Optional（任意）」という名のH2セクション：省略しても本質が損なわれない二次的なリンク群を置く特別な区画。処理側が「余裕があれば読む」対象として扱えます。

あわせて公式は、AIに読ませたいページごとに、同じURLの末尾へ「.md」を付けたクリーンなMarkdown版（例 /docs/guide.html に対し /docs/guide.html.md）を用意することも推奨しています。ファイル名のないURLには index.html.md を付けます。これによりAIは、装飾やスクリプトを取り除いた本文だけを確実に取得できます。リファレンス実装である FastHTML（＝Python向けのウェブ開発フレームワーク）は、llms.txt を展開して複数のMarkdown文書へまとめ、Claudeのような大きな文脈を扱うLLMに適したXML構造で提供する、といった応用例も示しています。

具体例・採用状況

提唱者らが関わる FastHTML は、自社ドキュメントで llms.txt と .md 版ページの両方を実装し、リファレンス実装として公開しています。開発者向けドキュメントサイトや一部のSaaS（＝クラウド型で提供されるソフトウェア）で採用例が増えつつある一方、一般的な企業サイトやメディアでの導入はまだ少数です。この「採用が限定的」という事実こそ、現時点の llms.txt を語るうえで最も重要な前提になります。

• 主に「推論時」に効く：利用者がAIに特定トピックを質問し、AIがその場で参照する場面での活用が想定されています（学習データへの一括取り込みが主目的ではありません）。
• robots.txt を補完しうる：許可した内容に文脈を添える形で共存できると公式は説明します。置き換えではなく併存の関係にあります。
• 構造化データ（＝schema.org等の機械可読タグ）への参照も置け、AIが情報の解釈を深める助けになりえます。
• sitemap.xml の代わりにはならない：sitemap は人間向けページの全リストで、AI向けの整理版本文や外部リンクを含まないため、目的が異なります。

採用が限定的であることは弱点であると同時に、先行の機会でもあります。多くのサイトがまだ設置していない今のうちに、公式仕様どおりに整えて置いておけば、対応するAIツールやエージェントが増えたときに相対的な優位を取りやすいです。ただしそれは「対応が広がる」という将来の前提に賭ける投資であり、確実なリターンが約束されているわけではない——この点を踏まえたうえで、低コストで用意できる範囲から始めるのが堅実な向き合い方になります。

誤解・注意点

実務での扱い方

1. まず費用対効果を見極める：提案段階の仕様である事実を踏まえ、「対応AIが増えたときに先行者利益を取りに行く」投資として位置づけます。義務ではありません。
2. サイトの核となる要点を棚卸しする：会社概要・主要サービス・信頼性の根拠（実績・出典）など、AIに最初に伝えたい情報を選びます。
3. 公式仕様（llmstxt.org）どおりにMarkdownで書く：H1のサイト名（必須）、要約のブロック引用、補足セクション、H2区切りのファイル一覧、Optional区画の順を守ります。
4. 重要ページに .md 版を用意する（可能なら）：装飾やスクリプトを除いた本文をAIが確実に取得できるようにします。
5. ルートに /llms.txt として設置し、リンク切れや文字化けがないか確認します。相対リンクではなく解決可能なURLを書きます。
6. 本体サイトの更新に合わせて保守する：情報が古びないよう、要点とリンクを定期的に見直します。
7. 効果を過信せず観測する：AI検索での引用・言及の変化をサーバーログ（＝アクセス記録）やAI由来の流入で継続的に測り、投資判断を見直します。

よくある質問