AI検索の回答に自社のページが出てきません。何が足りないのかを調べると、llms.txtを置く、構造化データを増やすといった作業が並びます。制作会社へ何から伝えればよいのかが分かりません。
こうしたサイト側の技術的な調整を、テクニカルSEO(=検索エンジンがページを見つけて読み取れる状態を作る調整)と呼びます。GoogleのAI機能に表示されるための追加の技術要件は無く、新しいファイルも不要です。
この記事では、Googleが技術要件と呼ぶ3つから、robots.txt・サイトマップ・JavaScript・構造化データ・llms.txtの順にご紹介します。
テクニカルSEOが整えるのは、書いた内容そのものではなく、その内容が検索エンジンへ届くまでの経路です。確かめるのは、クローラー(=ウェブページを自動でたどって集めるプログラム)がページへ来られること、ページが正しい応答を返すこと、返ったページの内容を読み取れることの3つです。3つがそろってはじめて、書いた内容の良し悪しが評価の対象に入ります。
図1:3つがそろってはじめて、書いた中身の良し悪しが評価の対象に入る。手前で落ちていれば、中身を足しても届かない。
拡大図1:3つがそろってはじめて、書いた中身の良し悪しが評価の対象に入る。手前で落ちていれば、中身を足しても届かない。
閉じる 出所:GMO AI検索ラボ GoogleのAI機能が使うのも、クローラーが読み取り、インデックス(=検索エンジンが集めたページを、検索に使えるように登録しておくデータベース)に登録したページです。AI による概要やGoogle AIモードに関連リンクとして出るには、インデックスへの登録が要ると、Google 検索セントラルの「AI 機能とウェブサイト」に書かれています。同じページによると、Googleのモデルは回答を作るときに裏付けとなるページを選ぶので、従来の検索より幅広いリンクを表示できます。
AI検索そのものの仕組みは AI検索とは何か で扱っています。
テクニカルSEOとコンテンツSEOは、手を入れる場所が違います。テクニカルSEOで整えるのは機械が読む経路、コンテンツSEOで整えるのは人が読む内容です。対象、手を入れる場所、誰が作業するか、効果の見え方の4つの観点で、2つを並べました。
図2:競い合う施策ではない。読み取られない状態のまま中身を足しても届かず、読み取られていても中身が薄ければ選ばれない。
拡大図2:競い合う施策ではない。読み取られない状態のまま中身を足しても届かず、読み取られていても中身が薄ければ選ばれない。
閉じる 出所:GMO AI検索ラボ テクニカルSEOとコンテンツSEOの違いを、担当する範囲から効果の出方まで並べたもの
観点 テクニカルSEO コンテンツSEO 対象 クロール・インデックス登録・表示の経路 記事や商品ページの内容 手を入れる場所 robots.txt・サイトマップ・HTML・サーバーの応答 見出しと本文、扱う話題の選び方 誰が作業するか 実装の担当者や制作会社 編集の担当者や書き手 効果の見え方 読み取られていない状態が解消される 検索意図に合うページが増える
横にスクロールできます
どちらが優れているという話ではありません。読み取られない状態のまま内容を足しても届きませんし、読み取られていても内容が薄ければ選ばれにくくなります。コンテンツSEOの進め方は コンテンツSEOとE-E-A-T で扱っています。
テクニカルSEOに人手をかける理由は3つあります。
図3:施策を20個並べる前に見る3つ。公式ドキュメントの冒頭に番号付きで並んでいるのは、これ以外に無い。
拡大図3:施策を20個並べる前に見る3つ。公式ドキュメントの冒頭に番号付きで並んでいるのは、これ以外に無い。
閉じる 出所:GMO AI検索ラボ 書いた記事が検索エンジンに読み取られ、インデックスに登録される対象に入る。インデックスに登録されていないページは、内容が良くても検索結果に出ない 表示の速さを整えれば、読む人がページの表示を待たずに済む GoogleのAI機能にも同じ条件で届く。AI機能に表示されるための追加の技術要件は無いと、Googleが書いている 難しいところも3つあり、1つめは直してから検索結果に表れるまで時間がかかることです。直したページを検索エンジンが取りに来て、インデックスの登録を更新するまでは、検索結果に変化は出ないためです。
2つめは、実装できる人が要ることです。robots.txt(=クローラーに、サイトのどこを取りに来てよいかを伝えるテキストファイル)も構造化データもサイトのファイルに手を入れる作業なので、編集の担当者だけでは完結しません。
3つめは、手を入れた量に比例して効果が出るとは限らないことです。構造化データ(=ページの意味を検索エンジンに伝えるための決まった書き方)も、増やすこと自体が打ち手になるわけではありません。Googleは「Google 検索の生成 AI 機能向けに最適化するための Google のガイド」で「構造化データに過度に注力する」という項目を立て、生成AIの機能に向けて構造化データは必須ではないと書いています。
テクニカルSEOは、加点を積み上げる作業というより、検索結果に出るための条件の抜けを埋める作業だと考えるとよいでしょう。その条件の中心は、Googleが技術要件と呼んでいる3つです。
施策の一覧に手を付ける前に、Googleが技術要件と呼んでいる3つを満たしているかを確かめます。Google 検索セントラルの「Google 検索の技術要件」は、ページの冒頭にこの3つを番号付きで並べています。要件ごとに、公式の説明と確認に使う画面、満たしていないと何が起きるかを整理しました。
図4:有効範囲がホストごとに切られているので、サブドメインには別のファイルが要る。直しても最大24時間は前の内容で扱われる。
拡大図4:有効範囲がホストごとに切られているので、サブドメインには別のファイルが要る。直しても最大24時間は前の内容で扱われる。
閉じる 出所:GMO AI検索ラボ Googleが公式に挙げている技術要件3つ。公式の説明の欄は原文をそのまま引いている(2026年9月2日確認)
要件 公式の説明 確認に使う画面 満たしていないと何が起きるか Googlebot がブロックされていないこと robots.txt でブロックされているページは、Google 検索の検索結果に表示されない可能性があります ページのインデックス登録レポートと、クロールの統計情報レポート クロールされず、検索結果に出ない場合がある ページが機能していること Google は、HTTP 200 (success) ステータス コードが返ってくるページのみをインデックスに登録します URL 検査ツール クライアント エラーやサーバーエラーのページは登録されない インデックス登録可能なコンテンツがページに含まれていること テキスト コンテンツが Google 検索でサポートされているファイル形式である サポートされているファイル形式の一覧 内容を読み取れず、登録の対象に入らない
横にスクロールできます
3つを満たしても、インデックスへの登録は保証されません。「Google 検索の技術要件」は、要件を満たしているページがすべてインデックスに登録されるとは限らず、インデックス登録は保証されているものではないと明記しています。
クロールの状態を確かめるときは、Search Console(=Googleが無料で提供している、サイトの検索での状態を確かめる管理画面)のページのインデックス登録レポートと、クロールの統計情報レポートを両方開きます。レポートごとに載るURLの情報が違う場合があるため、Googleは両方を確かめるよう勧めています。
robots.txt は、クローラーがサイトへアクセスする量や範囲を管理するためのファイルです。Google 検索セントラルの「robots.txt の概要とガイド」は、この用途を示したうえで、ウェブページを Google 検索結果に表示しないようにする目的では robots.txt を使わないよう、太字で注意しています。対象のウェブページには、Google がサポートする PDF などのテキストベースの形式も含まれます。
図5:止めるかどうかは提供元ではなく、クローラーごとに分かれている。学習に使わせないことと、検索の答えに出ることは別の設定である。
拡大図5:止めるかどうかは提供元ではなく、クローラーごとに分かれている。学習に使わせないことと、検索の答えに出ることは別の設定である。
閉じる 出所:GMO AI検索ラボ 検索結果から消す目的で使うと、URLだけが説明の無いまま検索結果に残る場合があります。公式が代わりに挙げているのは、サーバーにある非公開ファイルをパスワードで保護する方法です。robots.txt について公式が挙げる制約は3つあり、どれも自分のサイトの設定だけでは決め切れません。制約ごとに公式の説明を原文のまま並べ、左の欄には公式の見出しの表記を使っています。
robots.txt の制約3つ。左の欄は公式の見出しの表記をそのまま使っている(2026年9月2日確認)
公式が挙げる制約 公式の説明 すべての検索エンジンが robots.txt ルールに対応するとは限らない サイトに対するクローラーの動作に対して、robots.txt ファイルの指示を強制適用することはできません。指示に従うかどうかはクローラー次第です クローラーによって構文解釈が異なる 信頼できるウェブ クローラーは robots.txt ファイルのルールに従いますが、各クローラーでルールの解釈が異なる可能性があります robots.txt で許可していないページが他のサイトからリンクされている場合、そのページはインデックスに登録される可能性がある 該当の URL アドレスや、場合によってはその他の公開情報(該当ページへのリンクのアンカー テキストなど)が、Google 検索結果に表示されることもあります
横にスクロールできます
3つめの制約は、特に取り違えやすいものです。robots.txt でクロールを止めても、ほかのサイトからリンクされているページは、URLが検索結果に出ることがあります。
「Google による robots.txt の指定の解釈」から、置き場所・有効範囲・サイズの上限・キャッシュなど7つの項目について、公式の記述を写しました。
Google による robots.txt の指定の解釈から写した値(2026年9月2日確認)。crawl-delay に対応しているかは提供元ごとに違い、Anthropic は対応すると書いている
項目 公式の記述 置き場所 サイトの最上位ディレクトリに配置し、サポート対象プロトコルでアクセスできるようにする必要があります 有効範囲 robots.txt ファイルをホストするホスト、プロトコル、ポート番号のみに適用されます 文字コードと改行 UTF-8 エンコードされた書式なしテキスト ファイル。行の区切りには CR、CR/LF、LF のいずれかを使用する必要があります サイズの上限 Google は、robots.txt のファイルサイズの上限を 500 KiB としています 対応するフィールド user-agent、allow、disallow、sitemap 対応しないフィールド crawl-delay などの他のフィールドはサポートしていません キャッシュ 通常 robots.txt ファイルの内容を最大 24 時間キャッシュに保存します
横にスクロールできます
有効範囲はホスト・プロトコル・ポート番号ごとに分かれているので、サブドメインには別の robots.txt が要ります。www が付くホストの robots.txt だけを直しても、www が付かないホストには適用されません。Googleは robots.txt の内容を通常24時間までキャッシュに保存するので、直した内容がすぐには反映されない場合があります。
クロールを止める操作と、検索結果から消す操作は別のものです。「Google 検索の技術要件」は、robots.txt でブロックしてもページのURLが検索結果に出続ける場合があると書いています。そのうえで、登録しないよう示すには noindex(=検索結果に出さないよう、ページのHTMLやHTTP応答ヘッダーに書く指定)を使い、そのURLのクロールは許可するよう案内しています。
robots.txt で閉じたページに noindex を書いても、その noindex は読まれません。「Robots meta タグ、data-nosnippet、X-Robots-Tag の指定」によると、robots.txt でクロールが許可されていないページでは、インデックス登録ルールの情報が検出されず無視されます。
検索結果から消したいページは、robots.txt でのブロックを外してクロールを許可し、そのうえでページに noindex を書きます。
2025年5月に arXiv(=査読の前の論文が公開される場)で公開された研究(arXiv 2505.21733)は、名前を名乗る130のボットと多数の匿名のボットを、著者の所属機関のウェブログで40日間観測しました。その結果、robots.txt の指示が厳しいほどボットは従いにくくなり、AI検索のクローラーを含む一部の種類は robots.txt をほとんど確かめに来ないと報告しています。論文は、望まない収集を防ぐ手段として robots.txt に頼るのは危ういと結んでいます。
ただし、観測に使われたのは著者の所属機関のウェブログなので、日本語のサイトでも同じ結果になるかどうかは分かりません。見せたくないファイルは robots.txt に任せず、サーバーでパスワードを掛けて保護するかどうかを先に決めておくとよいでしょう。
GoogleのAI機能に出るための条件は通常の検索と同じで、追加の技術要件は無いと、Google 検索セントラルの「AI 機能とウェブサイト」が言い切っています。
図6:小さいには公式の目安がある。およそ500ページ以下で、数えるのは検索結果に出す必要のあるページだけである。
拡大図6:小さいには公式の目安がある。およそ500ページ以下で、数えるのは検索結果に出す必要のあるページだけである。
閉じる 出所:GMO AI検索ラボ AI による概要や AI モードでサポートリンクとしてページが表示されるには、ページがインデックスに登録されており、Google 検索でスニペットが表示され、検索の技術的要件を満たしている必要があります。これ以外に追加の技術要件はありません。
出典:Google 検索セントラル「AI 機能とウェブサイト」(2026年9月2日確認)(新しいタブで開く) GoogleのAI機能のために新しく作るものはありません。いまの検索でインデックスに登録され、スニペット(=検索結果でページのタイトルの下に出る説明文)が表示される状態が、AI機能に表示されるための条件です。
AIに関わるクローラーは、提供元ごとに名前が分かれ、同じ提供元の中でも役割が分かれています。Google・OpenAI・Anthropic・Perplexityの4社の公式ドキュメントから14種類を選び、クローラーごとに提供元と、何のために来るか、止めたときに何が起きるかを整理しました。
4社の公式ドキュメントに載っているクローラー14種類。用途の欄は原文の記述にそろえている(2026年9月2日確認)
クローラー 提供元 何のために来るか 止めたときに何が起きるか Googlebot Google Google 検索、Discover、Google 画像検索、Google Video、Google ニュース 検索結果に表示されない可能性がある Google-InspectionTool Google リッチリザルト テスト、URL 検査 公式に記載なし GoogleOther Google 汎用クローラー、内部研究開発 公式に記載なし Google-CloudVertexBot Google Vertex AI エージェント構築 公式に記載なし Google-Extended Google Gemini モデルのトレーニング、グラウンディング 検索の掲載にも順位にも影響しないと公式が明記 OAI-SearchBot OpenAI ChatGPT の検索機能で、ウェブサイトを検索結果に出すため ChatGPT の検索の答えに表示されなくなる GPTBot OpenAI 生成AIの基盤モデルを、より役に立つ安全なものにするため 基盤モデルの学習に使わせない意思表示になる ChatGPT-User OpenAI ChatGPT と Custom GPTs での、利用者の操作に応じた取得 検索に出るかどうかの判断には使われていないと公式が明記 OAI-AdsBot OpenAI ChatGPT に広告として出されたページの安全性の確認 集めたデータは基盤モデルの学習に使わないと公式が明記 ClaudeBot Anthropic ウェブの内容を集め、生成AIモデルの有用性と安全性を高めるため 今後の素材が学習用データから除かれる Claude-User Anthropic 利用者が Claude に出した質問に応じたサイトへの取得 質問に応じた取得が行われなくなる Claude-SearchBot Anthropic 検索結果の質を上げるためのウェブの巡回 検索の最適化のための登録が行われなくなる PerplexityBot Perplexity Perplexity の検索結果にサイトを出し、リンクするため 提供元は robots.txt で許可することを勧めている Perplexity-User Perplexity 利用者の操作に応じたページの訪問 提供元が robots.txt のルールをおおむね見ないと書いている
横にスクロールできます
OpenAIの4つは役割が別なので、どれを止めるかによって起きることが変わります。学習に使わせないことと、ChatGPTの検索の答えに出ることは、それぞれ違う設定です。OAI-SearchBot を拒否したサイトは ChatGPT の検索の答えに表示されなくなると、OpenAIの「Overview of OpenAI Crawlers」に書かれています。
GPTBot を止めても OAI-SearchBot は動き、その逆も同じです。OpenAIは4つのIPアドレスの範囲をそれぞれ別のファイルで公開しているので、アクセスログで見分けるときはクローラーごとの一覧を使います。
Google-Extended には、個別のユーザーエージェント(=クローラーが自分の名前として送る文字列)がありません。クロールは既存のGoogleのユーザーエージェントで行われるため、アクセスログを見ても Google-Extended だけは数えられません。ログでAIの来訪を測ろうとすると、最初につまずきやすいのがこの点です。
Google-Extended を拒否しても、Google 検索への掲載は変わりません。順位を決める要素にも使っていないと、Googleが「Things to Know about Google's Web Crawling」で明記しています。
AI機能での見え方を調整する仕組みも、通常の検索と共通です。Googleは、検索に表示されるページからの情報を制限する手段として4つのルールを挙げており、ルールごとに公式の説明と書く場所を整理しました。
AI機能での見え方を調整する4つのルール。説明の欄は原文をそのまま引いている(2026年9月2日確認)
ルール 公式の説明 書く場所 noindex 検索結果でこのページ、メディア、またはリソースを表示しません ページのHTML、またはHTTP応答ヘッダー nosnippet このページの検索結果にテキストスニペットや動画プレビューを表示しません ページのHTML、またはHTTP応答ヘッダー max-snippet 検索結果でテキストスニペットの最大文字数を設定 ページのHTML、またはHTTP応答ヘッダー data-nosnippet ページのテキスト部分をスニペットとして使用しないよう指定 span、div、section の各要素
横にスクロールできます
max-snippet に -1 を指定すると、ユーザーが見つけやすくなると考えられる長さのスニペットをGoogleが選びます。制限を強めると、GoogleのAI機能でのページの取り上げられ方が限られると、Google 検索セントラルのブログ(2025年5月)に書かれています。
Google の AI 機能そのものへの対策は AI Overviews対策 、ChatGPT側は ChatGPT検索の最適化 で扱っています。
サイトマップ(=サイトの中のURLを一覧にして、検索エンジンに渡すファイル)は、すべてのサイトに要るものではありません。Google 検索セントラルの「サイトマップについて」は、必要になることがある場合と、必要ない可能性がある場合を、3つずつ分けて挙げています。
図7:素の応答に本文が無くても、描画のあとで読み取られる場合がある。ただし閉じたファイルは描画そのものが行われない。
拡大図7:素の応答に本文が無くても、描画のあとで読み取られる場合がある。ただし閉じたファイルは描画そのものが行われない。
閉じる 出所:GMO AI検索ラボ サイトマップの要否の条件。原文の表記にそろえている(2026年9月2日確認)
必要になることがある場合 必要ない可能性がある場合 サイトのサイズが大きい サイトのサイズが小さい サイトが新しく、外部からのリンクが少ない サイトのすべてのページを内部リンクが網羅している 動画や画像などのリッチメディア コンテンツが多数含まれている、またはサイトが Google ニュースに表示されている 検索結果に表示させたいメディア ファイルやニュースページが多くない
横にスクロールできます
公式が「サイトのサイズが小さい」と呼ぶのはページ数がおよそ500ページ以下のサイトで、数えるのは検索結果に表示する必要のあるページだけです。
ナビゲーションから重要なページすべてへ移動できる状態であれば、Googleは通常ほとんどのページを見つけられるとしています。サイトマップを置けばURLを検出してもらえますが、サイトマップ内のすべての項目が登録される保証はありません。
サイトマップとは別に、URLの追加や更新をすぐ検索エンジンへ知らせる仕組みとして IndexNow があります。参加しているのは Bing・Yandex・Naver・Seznam.cz・Yep・Amazon で、一覧にGoogleの名前は無いため、Googleに向けてはサイトマップの代わりにならないと考えられます。
JavaScriptで後から差し込む本文は、読まれるまでに時間がかかる場合があります。Googleは JavaScript ベースのウェブアプリの処理を、クロール・レンダリング(=JavaScriptを実行してページの表示を組み立てる処理)・インデックス登録の3つの段階に分けて説明しています。
図8:JSON-LDは過半数のサイトが使っている。一方で、何も入れていないサイトが20.4%ある。
拡大図8:JSON-LDは過半数のサイトが使っている。一方で、何も入れていないサイトが20.4%ある。
閉じる 出所:GMO AI検索ラボ レンダリングの順番待ちについて、Googleは「ページはこのキューで数秒間(またはそれ以上)待機することがあります」と書いています。実行に使うのは最新バージョンの Chromium(=Google Chrome のもとになっているオープンソースのブラウザ)なので、サーバーが最初に返すHTMLに本文が無くても、レンダリングのあとに読み取られる場合があります。
「JavaScript SEO の基本を理解する」は、ブロックされたファイルや、ブロックされたページに含まれる JavaScript を、Google 検索がレンダリングしないと書いています。本文を差し込むスクリプトを robots.txt でブロックしていると、その本文はレンダリングのあとにも読み取られません。
自分のサイトで確かめるときは、サーバーが最初に返すHTMLと、レンダリング後の内容を見比べます。URL 検査ツールのレンダリング結果に本文が出ていれば、レンダリングのあとで本文を読み取れる状態にあると見てよいでしょう。
構造化データを入れる目的としてGoogleが挙げているのは、検索結果の見え方です。「Google 検索における構造化データのマークアップの概要」は、構造化データを追加すると、よりユーザーの興味をひく検索結果を表示できるようになり、ウェブサイトの利用も増えることが期待されると書いています。「期待される」という書き方で、効果を保証してはいません。
図9:入れて終わりにしない。書いた直後と公開したあとの両方で、読まれているかを確かめる。
拡大図9:入れて終わりにしない。書いた直後と公開したあとの両方で、読まれているかを確かめる。
閉じる 出所:GMO AI検索ラボ 「AI 機能とウェブサイト」は、AI機能に表示されるために特別な schema.org(=ページの意味を機械に伝えるための共通の語彙)の構造化データを追加する必要はないと書いています。Googleがサポートしている形式は JSON-LD・microdata・RDFa の3つで、形式ごとの公式の記述と位置づけを整理しました。
Googleがサポートしている構造化データの形式3つ。公式の記述の欄は原文をそのまま引いている(2026年9月2日確認)
形式 公式の記述 位置づけ JSON-LD ユーザーから見えるテキストにマークアップが挟まれないため、ネストされたデータアイテムを簡単に表現できます 推奨 microdata HTML仕様に基づくマークアップ形式 サポート対象 RDFa HTML5の拡張機能 サポート対象
横にスクロールできます
Googleが勧めているのは JSON-LD で、構造化データの概要のページは「一般的に、Google はサイトの設定で許容されている限り、JSON-LD を構造化データに使用することを推奨します」と書いています。「AI 機能とウェブサイト」には、構造化データをページに表示されるテキストと一致させるという条件も書かれています。
構造化データはすでに広く使われており、形式ごとに使われている割合を、W3Techs(=ウェブサイトで使われている技術を調べて毎日公開している調査サイト)の値で整理しました。
構造化データの形式ごとの利用率(W3Techs、データの日付は2026年9月11日)。1つのサイトが複数の形式を使うため、合計は100%にならない
形式 使われている割合 Open Graph 72.1% Twitter/X Cards 58.2% JSON-LD 55.4% Generic RDFa 36.8% Microdata 21.4% 構造化データを使っていない 20.3%
横にスクロールできます
W3Techs の調査の対象は2,000万を超えるサイトで、1ページでも見つかればそのサイトは使っていると数えます。W3Techs の割合は世界全体の値で、日本語のサイトだけを取り出したものではありません。
構造化データを実装すると引用されやすくなる、という記述は公式ドキュメントにはありません。第三者の調査には、構造化データと引用の関連を観察した arXiv の報告(2509.10762)がありますが、観察にもとづく研究なので因果は示されていません。対象も英語のB2B SaaS(=企業向けにインターネット経由で提供するソフトウェア)のページに限られます。入れるかどうかは、リッチリザルト(=評価の星や価格などの情報を添えて表示される検索結果)の表示を狙う手段として判断します。書き方と、AI検索での効果を検証した記録はAI検索のための構造化データにまとめています。
書いた構造化データをGoogleが読み取れるかは、Googleが挙げている検証用のツール3つで確かめます。ツールごとに、確かめる段階と使うツール、何を見るかを整理しました。
図10:残りはすべて任意である。置くかどうかの判断は、書き方の細かさとは別の話である。
拡大図10:残りはすべて任意である。置くかどうかの判断は、書き方の細かさとは別の話である。
閉じる 出所:GMO AI検索ラボ 構造化データの検証に使うツール3つ。公式ドキュメントが挙げているものである(2026年9月2日確認)
確かめる段階 使うツール 何を見るか 書いた直後 リッチリザルト テスト 検出された型と、項目の不足 公開したあと リッチリザルトのステータス レポート サイト全体での有効な項目と、エラーの数 ページ単位 URL 検査ツール Googleが実際に取得した内容と、そこに含まれる構造化データ
横にスクロールできます
構造化データを入れても、ページがブロックされていれば読まれません。「構造化データに関する一般的なガイドライン」は、Googlebot が構造化データのページにアクセスできるよう、robots.txt や noindex などのアクセス制御でページをブロックしないよう求めています。同じガイドラインによると、構造化データに問題があるページには、手動による対策(=Googleの担当者が確認したうえで、検索での表示を制限する措置)が実施される可能性があります。手動による対策が実施されると、そのページはリッチリザルトとして表示されなくなります。
このガイドラインのうち品質に関するものは、コンテンツ・関連性・完全性など9つの項目に分かれています。schema.org の側も、書いたマークアップが正しく実装されているかを試すよう勧めています。
llms.txt は、AIに読ませたい情報の案内を書くために llmstxt.org が提案しているファイルです。標準化団体が定めた規格ではありません。
図11:勧める根拠も、やめるよう言う根拠も持っていない。公式が書いているのは、新しいファイルは要らないということである。
拡大図11:勧める根拠も、やめるよう言う根拠も持っていない。公式が書いているのは、新しいファイルは要らないということである。
閉じる 出所:GMO AI検索ラボ 仕様が必須としている項目は、プロジェクト名かサイト名を書いたH1の1つだけです。残りはすべて任意で、短い要約のblockquote、見出し以外のmarkdownの節、H2で区切られたファイルの一覧を置けます。置き場所はサイトの最上位に限られず、任意のパスに置いて、その下のページを対象にできます。仕様は2026年8月10日に更新され、2026年9月2日に確かめた時点で公開されている版はv2です。
robots.txt がクローラーの動きを指示するファイルであるのに対して、llms.txt は読ませたい内容の案内です。llms.txt を置いても robots.txt の代わりにはならず、クロールの可否も変わりません。書き方と必須の要素はllms.txtとはで扱っています。
GoogleのAI機能に表示されるために、新しいファイルを作る必要はないと、Googleが公式ドキュメントで明記しています。
図12:程度で答える項目を混ぜない。慣習で決まった目安と公式の要件を、同じ表に並べないことがこの表の条件になる。
拡大図12:程度で答える項目を混ぜない。慣習で決まった目安と公式の要件を、同じ表に並べないことがこの表の条件になる。
閉じる 出所:GMO AI検索ラボ AI 機能で表示されるために、新たにコンピュータが解読可能なファイルや AI テキスト ファイル、マークアップを作成する必要はありません。また、特別な schema.org の構造化データを追加する必要もありません。
出典:Google 検索セントラル「AI 機能とウェブサイト」(2026年9月2日確認)(新しいタブで開く) llmstxt.org は OpenAI・Anthropic・Gemini の名前を挙げていますが、これは各社が自分の llms.txt を公開している側だという文脈です。各社のAIが他サイトの llms.txt を読んでいる、という記述はありません。自社が公開する側であることと、他サイトのファイルを読む側であることは別の話です。
OpenAI・Anthropic・Perplexityのクローラーの説明ページにも、他サイトの llms.txt を読みに行くという記述はありません。公開されている資料の中には、llms.txt を置くよう勧める根拠も、置かないよう勧める根拠も見当たりません。
置くと決めるなら、更新の担当と頻度も同時に決めてください。llms.txt は案内のファイルなので、内容が古いまま残ると、実際のページと食い違った案内が置かれ続けます。
Googleの公式ドキュメントから引いた要件だけで、点検表を作りました。確認項目ごとに、満たした状態と確認に使うツール、満たしていないと何が起きるかを並べています。確認項目は、程度で答えるものを混ぜず、はいかいいえで答えられる形にそろえました。
公式の要件だけで作った点検表。はいかいいえで判定できる形にそろえている
確認項目 満たした状態 確認に使うツール 満たしていないと何が起きるか robots.txt で Googlebot をブロックしていないか ブロックしていない 自サイトの /robots.txt クロールされず、検索結果に出ない場合がある ページが HTTP 200 を返すか 200 が返る URL 検査ツール エラーのページはインデックスに登録されない 本文がサポートされているファイル形式か 対応する形式で書かれている サポートされているファイル形式の一覧 内容を読み取れず、登録の対象に入らない 閉じたページに noindex を書いていないか クロールを許可したページに noindex を置いている /robots.txt とページのHTML noindex が読まれず、URLが検索結果に残る場合がある ホストごとに robots.txt を置いているか サブドメインにも置いている 各ホストの /robots.txt 別のホストのページにルールが当たらない 500ページを超えるならサイトマップがあるか sitemap.xml があり、更新されている Search Console のサイトマップ画面 新しいページの検出が遅れる場合がある JavaScript のファイルをブロックしていないか ブロックしていない /robots.txt と URL 検査ツール レンダリングされず、本文が読み取られない 構造化データが表示テキストと一致しているか 一致している リッチリザルト テスト 手動による対策の対象になる場合がある 構造化データを置いたページを閉じていないか ブロックしていない /robots.txt とページのHTML 構造化データが読まれない AI機能での見え方の設定を把握しているか 4つのルールの設定を把握している ページのHTMLとHTTP応答ヘッダー 意図せず表示が狭くなる、または広がる
横にスクロールできます
点検表の「確認に使うツール」の列に並ぶのは、/robots.txt、URL 検査ツール、リッチリザルト テスト、Search Console のサイトマップ画面です。どれも、ページが読み取られる状態にあるかどうかを見るものです。AI による概要やGoogle AIモードに表示されたサイトも、Search Console で検索タイプが「ウェブ」のパフォーマンス レポートに含まれると、「AI 機能とウェブサイト」に書かれています。そのため、AI機能に出たかどうかだけを取り出して見ることはできません。測り方そのものは AI検索の効果測定 で扱っています。
点検表を作るときに気をつけるのは、慣習で決まった数値を公式の基準と同じ列に混ぜないことです。Googleはタイトルやディスクリプションの文字数を定めていません。表示性能には公式の基準があり、Googleのウェブ開発者向けサイト web.dev が Core Web Vitals(=ページの読み込みの速さ、操作への反応、表示の安定性を測る3つの指標)として公表しています。指標ごとに、良好とされる値と出どころを整理しました。
Core Web Vitals の基準(web.dev、2026年9月2日確認)。判定は平均ではなく75パーセンタイルで見る
指標 良好とされる値 出どころ Largest Contentful Paint 読み込み開始から2.5秒以内 web.dev「Web Vitals」 Interaction to Next Paint 200ミリ秒以下 web.dev「Web Vitals」 Cumulative Layout Shift 0.1以下 web.dev「Web Vitals」 判定に使う分位 読み込みの75パーセンタイル web.dev「Web Vitals」
横にスクロールできます
AI検索のためのテクニカルSEOは、クローラーにページを読ませること、構造化データで意味を伝えること、robots.txt や JavaScript の設定で本文を取りこぼさせないことの3つに集まります。Googleが技術要件と呼んでいるのは、Googlebot がブロックされていないこと、ページが機能していること、インデックス登録可能なコンテンツが含まれていることの3つだけです。
進めるときは、robots.txt で Googlebot をブロックしていないかを見て、ページが HTTP 200 の応答を返すかを確かめ、サイトマップが要る規模かを判断する順が取りかかりやすいでしょう。そのうえで、JavaScriptで差し込む本文が読まれているかを見て、構造化データを検証のツールに通します。点検表を、はいかいいえで全部埋められた状態が到達点です。
GoogleのAI機能のために新しく作るファイルはありません。llms.txt を置くかどうかは、効果を示す資料が無いことを前提に決めてください。AI検索対策の全体の進め方は AIO対策のやり方 で扱っています。自社のサイトでどこから手を付けるか迷う場合は、お問い合わせのページからご相談ください。
構造化データを入れれば引用されますか 引用されるとは限りません。Googleは公式ドキュメントで、AI機能に表示されるために特別な schema.org の構造化データを追加する必要はないと書いています。第三者の調査には、構造化データと引用の関連を観察した報告がありますが、因果までは示されていません。リッチリザルトの表示を狙う手段としてはGoogleが説明しているので、その目的があるなら入れてください。
llms.txt は置くべきですか 置くよう勧める根拠も、置かないよう勧める根拠も、公開されている資料の中にはありません。llms.txt は llmstxt.org が提案しているファイルで、標準化団体が定めた規格ではありません。各社のクローラーの説明ページには、他サイトの llms.txt を読みに行くという記述がありません。新しいファイルを作る必要は無いというのが、Googleの側の書き方です。
AIのクローラーは止めるべきですか 目的によって分かれます。学習に使わせないことと、AI検索の答えに出ることは別の設定で、GPTBot を止めても OAI-SearchBot は動きます。OAI-SearchBot を止めた場合は、ChatGPT の検索の答えに表示されなくなるとOpenAIが書いています。Google-Extended については、拒否しても検索の掲載と順位には影響しないとGoogleが明記しています。各社の記述は developers.openai.com、support.claude.com、docs.perplexity.ai で読めます。
robots.txt に書けば、AIのクローラーは止まりますか 止まるとは限りません。Googleの公式ドキュメントは、指示に従うかどうかはクローラー次第だと書いています。Perplexity は、Perplexity-User が robots.txt のルールをおおむね見ないと自社のドキュメントに書いています。130のボットを40日間観測した研究(arXiv 2505.21733)も、AI検索のクローラーには robots.txt をほとんど確かめに来ないものがあると報告しています。見せたくないファイルについては、サーバーでパスワードを掛けて保護する方法をGoogleが勧めています。
サイトマップはすべてのサイトに要りますか 要らない場合があります。公式は、ページ数がおよそ500ページ以下で、内部リンクがすべてのページを網羅していて、検索結果に出したいメディアやニュースページが多くない場合は、必要ない可能性があると書いています。逆に、サイトが大きい場合、新しくて外部からのリンクが少ない場合、リッチメディアが多い場合は必要になることがあります。置いても、すべての項目が登録される保証はありません。
掲載した決まりや条件は、ここに挙げたページの原文から引いています。ページ名とURL、確認日を並べたので、仕様が変わっている場合に備えて、確認日より後に読むときは原文のほうを見直してください。
ページ URL 確認日 Google 検索の技術要件 https://developers.google.com/search/docs/essentials/technical?hl=ja 2026年9月2日 robots.txt の概要とガイド https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja 2026年9月2日 Google による robots.txt の指定の解釈 https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec?hl=ja 2026年9月2日 Robots meta タグ、data-nosnippet、X-Robots-Tag の指定 https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=ja 2026年9月2日 サイトマップについて https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview?hl=ja 2026年9月2日 JavaScript SEO の基本を理解する https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics?hl=ja 2026年9月2日 Google 検索における構造化データのマークアップの概要 https://developers.google.com/search/docs/appearance/structured-data/intro-structured-data?hl=ja 2026年9月2日 構造化データに関する一般的なガイドライン https://developers.google.com/search/docs/appearance/structured-data/sd-policies?hl=ja 2026年9月2日 AI 機能とウェブサイト https://developers.google.com/search/docs/appearance/ai-features?hl=ja 2026年9月2日 Google の一般的なクローラーの一覧 https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=ja 2026年9月2日 Things to Know about Google's Web Crawling https://developers.google.com/crawling/docs/about-crawling 2026年9月2日 Top ways to ensure your content performs well in Google's AI experiences on Search https://developers.google.com/search/blog/2025/05/succeeding-in-ai-search 2026年9月2日 Google 検索の生成 AI 機能向けに最適化するための Google のガイド https://developers.google.com/search/docs/fundamentals/ai-optimization-guide?hl=ja 2026年9月16日 Overview of OpenAI Crawlers https://developers.openai.com/api/docs/bots 2026年9月2日 Anthropic のクローラーについてのサポート記事 https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler 2026年9月2日 Perplexity Crawlers https://docs.perplexity.ai/docs/resources/perplexity-crawlers 2026年9月11日 The /llms.txt file, v2 https://llmstxt.org/ 2026年9月2日 Getting started with schema.org using Microdata https://schema.org/docs/gs.html 2026年9月2日 Web Vitals https://web.dev/articles/vitals 2026年9月2日 IndexNow FAQ https://www.indexnow.org/faq 2026年9月2日 Usage Statistics of Structured Data Formats for Websites https://w3techs.com/technologies/overview/structured_data 2026年9月11日 Scrapers selectively respect robots.txt directives(arXiv 2505.21733) https://arxiv.org/abs/2505.21733 2026年9月2日 AI Answer Engine Citation Behavior(arXiv 2509.10762) https://arxiv.org/abs/2509.10762 2026年9月11日
横にスクロールできます