本文へスキップ

テクニカルSEOとは?コンテンツSEOとの違いと技術要件3つ

テクニカルSEOとは、検索エンジンがページを見つけて読み取れる状態を作るための、サイト側の技術的な調整です。サイトの実装に手を入れる担当者と、制作会社へ指示を出す担当者に向けて、Googleが公式に挙げている技術要件3つから、robots.txt・構造化データ・llms.txtまでを13の章に分けて並べます。

AI検索の回答に自社のページが出てきません。何が足りないのかを調べると、llms.txtを置く、構造化データを増やすといった作業が並びます。制作会社へ何から伝えればよいのかが分かりません。

こうしたサイト側の技術的な調整を、テクニカルSEO(=検索エンジンがページを見つけて読み取れる状態を作る調整)と呼びます。GoogleのAI機能に表示されるための追加の技術要件は無く、新しいファイルも不要です。

この記事では、Googleが技術要件と呼ぶ3つから、robots.txt・サイトマップ・JavaScript・構造化データ・llms.txtの順にご紹介します。

1. テクニカルSEOとは?

テクニカルSEOが整えるのは、書いた内容そのものではなく、その内容が検索エンジンへ届くまでの経路です。確かめるのは、クローラー(=ウェブページを自動でたどって集めるプログラム)がページへ来られること、ページが正しい応答を返すこと、返ったページの内容を読み取れることの3つです。3つがそろってはじめて、書いた内容の良し悪しが評価の対象に入ります。

図1:3つがそろってはじめて、書いた中身の良し悪しが評価の対象に入る。手前で落ちていれば、中身を足しても届かない。

テクニカルSEOが整える3つの通り道
テクニカルSEOが整える3つの通り道

図1:3つがそろってはじめて、書いた中身の良し悪しが評価の対象に入る。手前で落ちていれば、中身を足しても届かない。

出所:GMO AI検索ラボ

GoogleのAI機能が使うのも、クローラーが読み取り、インデックス(=検索エンジンが集めたページを、検索に使えるように登録しておくデータベース)に登録したページです。AI による概要やGoogle AIモードに関連リンクとして出るには、インデックスへの登録が要ると、Google 検索セントラルの「AI 機能とウェブサイト」に書かれています。同じページによると、Googleのモデルは回答を作るときに裏付けとなるページを選ぶので、従来の検索より幅広いリンクを表示できます。

AI検索そのものの仕組みはAI検索とは何かで扱っています。

2. テクニカルSEOとコンテンツSEOの違い

テクニカルSEOとコンテンツSEOは、手を入れる場所が違います。テクニカルSEOで整えるのは機械が読む経路、コンテンツSEOで整えるのは人が読む内容です。対象、手を入れる場所、誰が作業するか、効果の見え方の4つの観点で、2つを並べました。

図2:競い合う施策ではない。読み取られない状態のまま中身を足しても届かず、読み取られていても中身が薄ければ選ばれない。

テクニカルSEOとコンテンツSEOは手を入れる場所が違う
テクニカルSEOとコンテンツSEOは手を入れる場所が違う

図2:競い合う施策ではない。読み取られない状態のまま中身を足しても届かず、読み取られていても中身が薄ければ選ばれない。

出所:GMO AI検索ラボ

テクニカルSEOとコンテンツSEOの違いを、担当する範囲から効果の出方まで並べたもの

観点テクニカルSEOコンテンツSEO
対象クロール・インデックス登録・表示の経路記事や商品ページの内容
手を入れる場所robots.txt・サイトマップ・HTML・サーバーの応答見出しと本文、扱う話題の選び方
誰が作業するか実装の担当者や制作会社編集の担当者や書き手
効果の見え方読み取られていない状態が解消される検索意図に合うページが増える

横にスクロールできます

どちらが優れているという話ではありません。読み取られない状態のまま内容を足しても届きませんし、読み取られていても内容が薄ければ選ばれにくくなります。コンテンツSEOの進め方はコンテンツSEOとE-E-A-Tで扱っています。

3. 手を入れると何が良くなり、何が難しいか

テクニカルSEOに人手をかける理由は3つあります。

図3:施策を20個並べる前に見る3つ。公式ドキュメントの冒頭に番号付きで並んでいるのは、これ以外に無い。

Googleが技術要件と呼んでいる3つ
Googleが技術要件と呼んでいる3つ

図3:施策を20個並べる前に見る3つ。公式ドキュメントの冒頭に番号付きで並んでいるのは、これ以外に無い。

出所:GMO AI検索ラボ
  • 書いた記事が検索エンジンに読み取られ、インデックスに登録される対象に入る。インデックスに登録されていないページは、内容が良くても検索結果に出ない
  • 表示の速さを整えれば、読む人がページの表示を待たずに済む
  • GoogleのAI機能にも同じ条件で届く。AI機能に表示されるための追加の技術要件は無いと、Googleが書いている

難しいところも3つあり、1つめは直してから検索結果に表れるまで時間がかかることです。直したページを検索エンジンが取りに来て、インデックスの登録を更新するまでは、検索結果に変化は出ないためです。

2つめは、実装できる人が要ることです。robots.txt(=クローラーに、サイトのどこを取りに来てよいかを伝えるテキストファイル)も構造化データもサイトのファイルに手を入れる作業なので、編集の担当者だけでは完結しません。

3つめは、手を入れた量に比例して効果が出るとは限らないことです。構造化データ(=ページの意味を検索エンジンに伝えるための決まった書き方)も、増やすこと自体が打ち手になるわけではありません。Googleは「Google 検索の生成 AI 機能向けに最適化するための Google のガイド」で「構造化データに過度に注力する」という項目を立て、生成AIの機能に向けて構造化データは必須ではないと書いています。

テクニカルSEOは、加点を積み上げる作業というより、検索結果に出るための条件の抜けを埋める作業だと考えるとよいでしょう。その条件の中心は、Googleが技術要件と呼んでいる3つです。

4. 先に満たすべき技術要件

施策の一覧に手を付ける前に、Googleが技術要件と呼んでいる3つを満たしているかを確かめます。Google 検索セントラルの「Google 検索の技術要件」は、ページの冒頭にこの3つを番号付きで並べています。要件ごとに、公式の説明と確認に使う画面、満たしていないと何が起きるかを整理しました。

図4:有効範囲がホストごとに切られているので、サブドメインには別のファイルが要る。直しても最大24時間は前の内容で扱われる。

robots.txt の仕様に書かれている値
robots.txt の仕様に書かれている値

図4:有効範囲がホストごとに切られているので、サブドメインには別のファイルが要る。直しても最大24時間は前の内容で扱われる。

出所:GMO AI検索ラボ

Googleが公式に挙げている技術要件3つ。公式の説明の欄は原文をそのまま引いている(2026年9月2日確認)

要件公式の説明確認に使う画面満たしていないと何が起きるか
Googlebot がブロックされていないことrobots.txt でブロックされているページは、Google 検索の検索結果に表示されない可能性がありますページのインデックス登録レポートと、クロールの統計情報レポートクロールされず、検索結果に出ない場合がある
ページが機能していることGoogle は、HTTP 200 (success) ステータス コードが返ってくるページのみをインデックスに登録しますURL 検査ツールクライアント エラーやサーバーエラーのページは登録されない
インデックス登録可能なコンテンツがページに含まれていることテキスト コンテンツが Google 検索でサポートされているファイル形式であるサポートされているファイル形式の一覧内容を読み取れず、登録の対象に入らない

横にスクロールできます

3つを満たしても、インデックスへの登録は保証されません。「Google 検索の技術要件」は、要件を満たしているページがすべてインデックスに登録されるとは限らず、インデックス登録は保証されているものではないと明記しています。

クロールの状態を確かめるときは、Search Console(=Googleが無料で提供している、サイトの検索での状態を確かめる管理画面)のページのインデックス登録レポートと、クロールの統計情報レポートを両方開きます。レポートごとに載るURLの情報が違う場合があるため、Googleは両方を確かめるよう勧めています。

5. robots.txtで何ができて、何ができないか

robots.txt は、クローラーがサイトへアクセスする量や範囲を管理するためのファイルです。Google 検索セントラルの「robots.txt の概要とガイド」は、この用途を示したうえで、ウェブページを Google 検索結果に表示しないようにする目的では robots.txt を使わないよう、太字で注意しています。対象のウェブページには、Google がサポートする PDF などのテキストベースの形式も含まれます。

図5:止めるかどうかは提供元ではなく、クローラーごとに分かれている。学習に使わせないことと、検索の答えに出ることは別の設定である。

4社の公式ドキュメントに載っているAIのクローラー14種類
4社の公式ドキュメントに載っているAIのクローラー14種類

図5:止めるかどうかは提供元ではなく、クローラーごとに分かれている。学習に使わせないことと、検索の答えに出ることは別の設定である。

出所:GMO AI検索ラボ

検索結果から消す目的で使うと、URLだけが説明の無いまま検索結果に残る場合があります。公式が代わりに挙げているのは、サーバーにある非公開ファイルをパスワードで保護する方法です。robots.txt について公式が挙げる制約は3つあり、どれも自分のサイトの設定だけでは決め切れません。制約ごとに公式の説明を原文のまま並べ、左の欄には公式の見出しの表記を使っています。

robots.txt の制約3つ。左の欄は公式の見出しの表記をそのまま使っている(2026年9月2日確認)

公式が挙げる制約公式の説明
すべての検索エンジンが robots.txt ルールに対応するとは限らないサイトに対するクローラーの動作に対して、robots.txt ファイルの指示を強制適用することはできません。指示に従うかどうかはクローラー次第です
クローラーによって構文解釈が異なる信頼できるウェブ クローラーは robots.txt ファイルのルールに従いますが、各クローラーでルールの解釈が異なる可能性があります
robots.txt で許可していないページが他のサイトからリンクされている場合、そのページはインデックスに登録される可能性がある該当の URL アドレスや、場合によってはその他の公開情報(該当ページへのリンクのアンカー テキストなど)が、Google 検索結果に表示されることもあります

横にスクロールできます

3つめの制約は、特に取り違えやすいものです。robots.txt でクロールを止めても、ほかのサイトからリンクされているページは、URLが検索結果に出ることがあります。

robots.txt の仕様に書かれている値

「Google による robots.txt の指定の解釈」から、置き場所・有効範囲・サイズの上限・キャッシュなど7つの項目について、公式の記述を写しました。

Google による robots.txt の指定の解釈から写した値(2026年9月2日確認)。crawl-delay に対応しているかは提供元ごとに違い、Anthropic は対応すると書いている

項目公式の記述
置き場所サイトの最上位ディレクトリに配置し、サポート対象プロトコルでアクセスできるようにする必要があります
有効範囲robots.txt ファイルをホストするホスト、プロトコル、ポート番号のみに適用されます
文字コードと改行UTF-8 エンコードされた書式なしテキスト ファイル。行の区切りには CR、CR/LF、LF のいずれかを使用する必要があります
サイズの上限Google は、robots.txt のファイルサイズの上限を 500 KiB としています
対応するフィールドuser-agent、allow、disallow、sitemap
対応しないフィールドcrawl-delay などの他のフィールドはサポートしていません
キャッシュ通常 robots.txt ファイルの内容を最大 24 時間キャッシュに保存します

横にスクロールできます

有効範囲はホスト・プロトコル・ポート番号ごとに分かれているので、サブドメインには別の robots.txt が要ります。www が付くホストの robots.txt だけを直しても、www が付かないホストには適用されません。Googleは robots.txt の内容を通常24時間までキャッシュに保存するので、直した内容がすぐには反映されない場合があります。

閉じたページの noindex は読まれない

クロールを止める操作と、検索結果から消す操作は別のものです。「Google 検索の技術要件」は、robots.txt でブロックしてもページのURLが検索結果に出続ける場合があると書いています。そのうえで、登録しないよう示すには noindex(=検索結果に出さないよう、ページのHTMLやHTTP応答ヘッダーに書く指定)を使い、そのURLのクロールは許可するよう案内しています。

robots.txt で閉じたページに noindex を書いても、その noindex は読まれません。「Robots meta タグ、data-nosnippet、X-Robots-Tag の指定」によると、robots.txt でクロールが許可されていないページでは、インデックス登録ルールの情報が検出されず無視されます。

検索結果から消したいページは、robots.txt でのブロックを外してクロールを許可し、そのうえでページに noindex を書きます。

書いたとおりに止まるとは限らない

2025年5月に arXiv(=査読の前の論文が公開される場)で公開された研究(arXiv 2505.21733)は、名前を名乗る130のボットと多数の匿名のボットを、著者の所属機関のウェブログで40日間観測しました。その結果、robots.txt の指示が厳しいほどボットは従いにくくなり、AI検索のクローラーを含む一部の種類は robots.txt をほとんど確かめに来ないと報告しています。論文は、望まない収集を防ぐ手段として robots.txt に頼るのは危ういと結んでいます。

ただし、観測に使われたのは著者の所属機関のウェブログなので、日本語のサイトでも同じ結果になるかどうかは分かりません。見せたくないファイルは robots.txt に任せず、サーバーでパスワードを掛けて保護するかどうかを先に決めておくとよいでしょう。

6. AI機能への出方は、どこまで指定できるか

GoogleのAI機能に出るための条件は通常の検索と同じで、追加の技術要件は無いと、Google 検索セントラルの「AI 機能とウェブサイト」が言い切っています。

図6:小さいには公式の目安がある。およそ500ページ以下で、数えるのは検索結果に出す必要のあるページだけである。

サイトマップが要る場合と要らない場合
サイトマップが要る場合と要らない場合

図6:小さいには公式の目安がある。およそ500ページ以下で、数えるのは検索結果に出す必要のあるページだけである。

出所:GMO AI検索ラボ

AI による概要や AI モードでサポートリンクとしてページが表示されるには、ページがインデックスに登録されており、Google 検索でスニペットが表示され、検索の技術的要件を満たしている必要があります。これ以外に追加の技術要件はありません。

出典:Google 検索セントラル「AI 機能とウェブサイト」(2026年9月2日確認)(新しいタブで開く)

AIのクローラーは提供元によって分かれている

AIに関わるクローラーは、提供元ごとに名前が分かれ、同じ提供元の中でも役割が分かれています。Google・OpenAI・Anthropic・Perplexityの4社の公式ドキュメントから14種類を選び、クローラーごとに提供元と、何のために来るか、止めたときに何が起きるかを整理しました。

4社の公式ドキュメントに載っているクローラー14種類。用途の欄は原文の記述にそろえている(2026年9月2日確認)

クローラー提供元何のために来るか止めたときに何が起きるか
GooglebotGoogleGoogle 検索、Discover、Google 画像検索、Google Video、Google ニュース検索結果に表示されない可能性がある
Google-InspectionToolGoogleリッチリザルト テスト、URL 検査公式に記載なし
GoogleOtherGoogle汎用クローラー、内部研究開発公式に記載なし
Google-CloudVertexBotGoogleVertex AI エージェント構築公式に記載なし
Google-ExtendedGoogleGemini モデルのトレーニング、グラウンディング検索の掲載にも順位にも影響しないと公式が明記
OAI-SearchBotOpenAIChatGPT の検索機能で、ウェブサイトを検索結果に出すためChatGPT の検索の答えに表示されなくなる
GPTBotOpenAI生成AIの基盤モデルを、より役に立つ安全なものにするため基盤モデルの学習に使わせない意思表示になる
ChatGPT-UserOpenAIChatGPT と Custom GPTs での、利用者の操作に応じた取得検索に出るかどうかの判断には使われていないと公式が明記
OAI-AdsBotOpenAIChatGPT に広告として出されたページの安全性の確認集めたデータは基盤モデルの学習に使わないと公式が明記
ClaudeBotAnthropicウェブの内容を集め、生成AIモデルの有用性と安全性を高めるため今後の素材が学習用データから除かれる
Claude-UserAnthropic利用者が Claude に出した質問に応じたサイトへの取得質問に応じた取得が行われなくなる
Claude-SearchBotAnthropic検索結果の質を上げるためのウェブの巡回検索の最適化のための登録が行われなくなる
PerplexityBotPerplexityPerplexity の検索結果にサイトを出し、リンクするため提供元は robots.txt で許可することを勧めている
Perplexity-UserPerplexity利用者の操作に応じたページの訪問提供元が robots.txt のルールをおおむね見ないと書いている

横にスクロールできます

OpenAIの4つは役割が別なので、どれを止めるかによって起きることが変わります。学習に使わせないことと、ChatGPTの検索の答えに出ることは、それぞれ違う設定です。OAI-SearchBot を拒否したサイトは ChatGPT の検索の答えに表示されなくなると、OpenAIの「Overview of OpenAI Crawlers」に書かれています。

GPTBot を止めても OAI-SearchBot は動き、その逆も同じです。OpenAIは4つのIPアドレスの範囲をそれぞれ別のファイルで公開しているので、アクセスログで見分けるときはクローラーごとの一覧を使います。

Google-Extended には、個別のユーザーエージェント(=クローラーが自分の名前として送る文字列)がありません。クロールは既存のGoogleのユーザーエージェントで行われるため、アクセスログを見ても Google-Extended だけは数えられません。ログでAIの来訪を測ろうとすると、最初につまずきやすいのがこの点です。

Google-Extended を拒否しても、Google 検索への掲載は変わりません。順位を決める要素にも使っていないと、Googleが「Things to Know about Google's Web Crawling」で明記しています。

見え方を調整するルール

AI機能での見え方を調整する仕組みも、通常の検索と共通です。Googleは、検索に表示されるページからの情報を制限する手段として4つのルールを挙げており、ルールごとに公式の説明と書く場所を整理しました。

AI機能での見え方を調整する4つのルール。説明の欄は原文をそのまま引いている(2026年9月2日確認)

ルール公式の説明書く場所
noindex検索結果でこのページ、メディア、またはリソースを表示しませんページのHTML、またはHTTP応答ヘッダー
nosnippetこのページの検索結果にテキストスニペットや動画プレビューを表示しませんページのHTML、またはHTTP応答ヘッダー
max-snippet検索結果でテキストスニペットの最大文字数を設定ページのHTML、またはHTTP応答ヘッダー
data-nosnippetページのテキスト部分をスニペットとして使用しないよう指定span、div、section の各要素

横にスクロールできます

max-snippet に -1 を指定すると、ユーザーが見つけやすくなると考えられる長さのスニペットをGoogleが選びます。制限を強めると、GoogleのAI機能でのページの取り上げられ方が限られると、Google 検索セントラルのブログ(2025年5月)に書かれています。

Google の AI 機能そのものへの対策はAI Overviews対策、ChatGPT側はChatGPT検索の最適化で扱っています。

7. サイトマップが必要かどうか

サイトマップ(=サイトの中のURLを一覧にして、検索エンジンに渡すファイル)は、すべてのサイトに要るものではありません。Google 検索セントラルの「サイトマップについて」は、必要になることがある場合と、必要ない可能性がある場合を、3つずつ分けて挙げています。

図7:素の応答に本文が無くても、描画のあとで読み取られる場合がある。ただし閉じたファイルは描画そのものが行われない。

GoogleがJavaScriptを処理する3つの段階
GoogleがJavaScriptを処理する3つの段階

図7:素の応答に本文が無くても、描画のあとで読み取られる場合がある。ただし閉じたファイルは描画そのものが行われない。

出所:GMO AI検索ラボ

サイトマップの要否の条件。原文の表記にそろえている(2026年9月2日確認)

必要になることがある場合必要ない可能性がある場合
サイトのサイズが大きいサイトのサイズが小さい
サイトが新しく、外部からのリンクが少ないサイトのすべてのページを内部リンクが網羅している
動画や画像などのリッチメディア コンテンツが多数含まれている、またはサイトが Google ニュースに表示されている検索結果に表示させたいメディア ファイルやニュースページが多くない

横にスクロールできます

公式が「サイトのサイズが小さい」と呼ぶのはページ数がおよそ500ページ以下のサイトで、数えるのは検索結果に表示する必要のあるページだけです。

ナビゲーションから重要なページすべてへ移動できる状態であれば、Googleは通常ほとんどのページを見つけられるとしています。サイトマップを置けばURLを検出してもらえますが、サイトマップ内のすべての項目が登録される保証はありません。

サイトマップとは別に、URLの追加や更新をすぐ検索エンジンへ知らせる仕組みとして IndexNow があります。参加しているのは Bing・Yandex・Naver・Seznam.cz・Yep・Amazon で、一覧にGoogleの名前は無いため、Googleに向けてはサイトマップの代わりにならないと考えられます。

8. JavaScriptで差し込んだ本文は読まれるのか

JavaScriptで後から差し込む本文は、読まれるまでに時間がかかる場合があります。Googleは JavaScript ベースのウェブアプリの処理を、クロール・レンダリング(=JavaScriptを実行してページの表示を組み立てる処理)・インデックス登録の3つの段階に分けて説明しています。

図8:JSON-LDは過半数のサイトが使っている。一方で、何も入れていないサイトが20.4%ある。

構造化データの形式ごとの利用率
構造化データの形式ごとの利用率

図8:JSON-LDは過半数のサイトが使っている。一方で、何も入れていないサイトが20.4%ある。

出所:GMO AI検索ラボ

レンダリングの順番待ちについて、Googleは「ページはこのキューで数秒間(またはそれ以上)待機することがあります」と書いています。実行に使うのは最新バージョンの Chromium(=Google Chrome のもとになっているオープンソースのブラウザ)なので、サーバーが最初に返すHTMLに本文が無くても、レンダリングのあとに読み取られる場合があります。

「JavaScript SEO の基本を理解する」は、ブロックされたファイルや、ブロックされたページに含まれる JavaScript を、Google 検索がレンダリングしないと書いています。本文を差し込むスクリプトを robots.txt でブロックしていると、その本文はレンダリングのあとにも読み取られません。

自分のサイトで確かめるときは、サーバーが最初に返すHTMLと、レンダリング後の内容を見比べます。URL 検査ツールのレンダリング結果に本文が出ていれば、レンダリングのあとで本文を読み取れる状態にあると見てよいでしょう。

9. 構造化データは何のために入れるのか

構造化データを入れる目的としてGoogleが挙げているのは、検索結果の見え方です。「Google 検索における構造化データのマークアップの概要」は、構造化データを追加すると、よりユーザーの興味をひく検索結果を表示できるようになり、ウェブサイトの利用も増えることが期待されると書いています。「期待される」という書き方で、効果を保証してはいません。

図9:入れて終わりにしない。書いた直後と公開したあとの両方で、読まれているかを確かめる。

Googleが挙げている構造化データの検証の道具3つ
Googleが挙げている構造化データの検証の道具3つ

図9:入れて終わりにしない。書いた直後と公開したあとの両方で、読まれているかを確かめる。

出所:GMO AI検索ラボ

「AI 機能とウェブサイト」は、AI機能に表示されるために特別な schema.org(=ページの意味を機械に伝えるための共通の語彙)の構造化データを追加する必要はないと書いています。Googleがサポートしている形式は JSON-LD・microdata・RDFa の3つで、形式ごとの公式の記述と位置づけを整理しました。

Googleがサポートしている構造化データの形式3つ。公式の記述の欄は原文をそのまま引いている(2026年9月2日確認)

形式公式の記述位置づけ
JSON-LDユーザーから見えるテキストにマークアップが挟まれないため、ネストされたデータアイテムを簡単に表現できます推奨
microdataHTML仕様に基づくマークアップ形式サポート対象
RDFaHTML5の拡張機能サポート対象

横にスクロールできます

Googleが勧めているのは JSON-LD で、構造化データの概要のページは「一般的に、Google はサイトの設定で許容されている限り、JSON-LD を構造化データに使用することを推奨します」と書いています。「AI 機能とウェブサイト」には、構造化データをページに表示されるテキストと一致させるという条件も書かれています。

どれだけのサイトが使っているか

構造化データはすでに広く使われており、形式ごとに使われている割合を、W3Techs(=ウェブサイトで使われている技術を調べて毎日公開している調査サイト)の値で整理しました。

構造化データの形式ごとの利用率(W3Techs、データの日付は2026年9月11日)。1つのサイトが複数の形式を使うため、合計は100%にならない

形式使われている割合
Open Graph72.1%
Twitter/X Cards58.2%
JSON-LD55.4%
Generic RDFa36.8%
Microdata21.4%
構造化データを使っていない20.3%

横にスクロールできます

W3Techs の調査の対象は2,000万を超えるサイトで、1ページでも見つかればそのサイトは使っていると数えます。W3Techs の割合は世界全体の値で、日本語のサイトだけを取り出したものではありません。

構造化データを実装すると引用されやすくなる、という記述は公式ドキュメントにはありません。第三者の調査には、構造化データと引用の関連を観察した arXiv の報告(2509.10762)がありますが、観察にもとづく研究なので因果は示されていません。対象も英語のB2B SaaS(=企業向けにインターネット経由で提供するソフトウェア)のページに限られます。入れるかどうかは、リッチリザルト(=評価の星や価格などの情報を添えて表示される検索結果)の表示を狙う手段として判断します。書き方と、AI検索での効果を検証した記録はAI検索のための構造化データにまとめています。

10. 書いた構造化データの確かめ方

書いた構造化データをGoogleが読み取れるかは、Googleが挙げている検証用のツール3つで確かめます。ツールごとに、確かめる段階と使うツール、何を見るかを整理しました。

図10:残りはすべて任意である。置くかどうかの判断は、書き方の細かさとは別の話である。

llms.txt で必須なのはH1の見出し1つだけ
llms.txt で必須なのはH1の見出し1つだけ

図10:残りはすべて任意である。置くかどうかの判断は、書き方の細かさとは別の話である。

出所:GMO AI検索ラボ

構造化データの検証に使うツール3つ。公式ドキュメントが挙げているものである(2026年9月2日確認)

確かめる段階使うツール何を見るか
書いた直後リッチリザルト テスト検出された型と、項目の不足
公開したあとリッチリザルトのステータス レポートサイト全体での有効な項目と、エラーの数
ページ単位URL 検査ツールGoogleが実際に取得した内容と、そこに含まれる構造化データ

横にスクロールできます

構造化データを入れても、ページがブロックされていれば読まれません。「構造化データに関する一般的なガイドライン」は、Googlebot が構造化データのページにアクセスできるよう、robots.txt や noindex などのアクセス制御でページをブロックしないよう求めています。同じガイドラインによると、構造化データに問題があるページには、手動による対策(=Googleの担当者が確認したうえで、検索での表示を制限する措置)が実施される可能性があります。手動による対策が実施されると、そのページはリッチリザルトとして表示されなくなります。

このガイドラインのうち品質に関するものは、コンテンツ・関連性・完全性など9つの項目に分かれています。schema.org の側も、書いたマークアップが正しく実装されているかを試すよう勧めています。

11. llms.txtとは

llms.txt は、AIに読ませたい情報の案内を書くために llmstxt.org が提案しているファイルです。標準化団体が定めた規格ではありません。

図11:勧める根拠も、やめるよう言う根拠も持っていない。公式が書いているのは、新しいファイルは要らないということである。

llms.txtを置くべきかを当ラボは決めていない
llms.txtを置くべきかを当ラボは決めていない

図11:勧める根拠も、やめるよう言う根拠も持っていない。公式が書いているのは、新しいファイルは要らないということである。

出所:GMO AI検索ラボ

仕様が必須としている項目は、プロジェクト名かサイト名を書いたH1の1つだけです。残りはすべて任意で、短い要約のblockquote、見出し以外のmarkdownの節、H2で区切られたファイルの一覧を置けます。置き場所はサイトの最上位に限られず、任意のパスに置いて、その下のページを対象にできます。仕様は2026年8月10日に更新され、2026年9月2日に確かめた時点で公開されている版はv2です。

robots.txt がクローラーの動きを指示するファイルであるのに対して、llms.txt は読ませたい内容の案内です。llms.txt を置いても robots.txt の代わりにはならず、クロールの可否も変わりません。書き方と必須の要素はllms.txtとはで扱っています。

12. llms.txtはAI検索対策として重要なのか

GoogleのAI機能に表示されるために、新しいファイルを作る必要はないと、Googleが公式ドキュメントで明記しています。

図12:程度で答える項目を混ぜない。慣習で決まった目安と公式の要件を、同じ表に並べないことがこの表の条件になる。

公式の要件だけで作った点検表
公式の要件だけで作った点検表

図12:程度で答える項目を混ぜない。慣習で決まった目安と公式の要件を、同じ表に並べないことがこの表の条件になる。

出所:GMO AI検索ラボ

AI 機能で表示されるために、新たにコンピュータが解読可能なファイルや AI テキスト ファイル、マークアップを作成する必要はありません。また、特別な schema.org の構造化データを追加する必要もありません。

出典:Google 検索セントラル「AI 機能とウェブサイト」(2026年9月2日確認)(新しいタブで開く)

llmstxt.org は OpenAI・Anthropic・Gemini の名前を挙げていますが、これは各社が自分の llms.txt を公開している側だという文脈です。各社のAIが他サイトの llms.txt を読んでいる、という記述はありません。自社が公開する側であることと、他サイトのファイルを読む側であることは別の話です。

OpenAI・Anthropic・Perplexityのクローラーの説明ページにも、他サイトの llms.txt を読みに行くという記述はありません。公開されている資料の中には、llms.txt を置くよう勧める根拠も、置かないよう勧める根拠も見当たりません。

置くと決めるなら、更新の担当と頻度も同時に決めてください。llms.txt は案内のファイルなので、内容が古いまま残ると、実際のページと食い違った案内が置かれ続けます。

13. テクニカルSEO施策の全体チェックリスト

Googleの公式ドキュメントから引いた要件だけで、点検表を作りました。確認項目ごとに、満たした状態と確認に使うツール、満たしていないと何が起きるかを並べています。確認項目は、程度で答えるものを混ぜず、はいかいいえで答えられる形にそろえました。

公式の要件だけで作った点検表。はいかいいえで判定できる形にそろえている

確認項目満たした状態確認に使うツール満たしていないと何が起きるか
robots.txt で Googlebot をブロックしていないかブロックしていない自サイトの /robots.txtクロールされず、検索結果に出ない場合がある
ページが HTTP 200 を返すか200 が返るURL 検査ツールエラーのページはインデックスに登録されない
本文がサポートされているファイル形式か対応する形式で書かれているサポートされているファイル形式の一覧内容を読み取れず、登録の対象に入らない
閉じたページに noindex を書いていないかクロールを許可したページに noindex を置いている/robots.txt とページのHTMLnoindex が読まれず、URLが検索結果に残る場合がある
ホストごとに robots.txt を置いているかサブドメインにも置いている各ホストの /robots.txt別のホストのページにルールが当たらない
500ページを超えるならサイトマップがあるかsitemap.xml があり、更新されているSearch Console のサイトマップ画面新しいページの検出が遅れる場合がある
JavaScript のファイルをブロックしていないかブロックしていない/robots.txt と URL 検査ツールレンダリングされず、本文が読み取られない
構造化データが表示テキストと一致しているか一致しているリッチリザルト テスト手動による対策の対象になる場合がある
構造化データを置いたページを閉じていないかブロックしていない/robots.txt とページのHTML構造化データが読まれない
AI機能での見え方の設定を把握しているか4つのルールの設定を把握しているページのHTMLとHTTP応答ヘッダー意図せず表示が狭くなる、または広がる

横にスクロールできます

点検表の「確認に使うツール」の列に並ぶのは、/robots.txt、URL 検査ツール、リッチリザルト テスト、Search Console のサイトマップ画面です。どれも、ページが読み取られる状態にあるかどうかを見るものです。AI による概要やGoogle AIモードに表示されたサイトも、Search Console で検索タイプが「ウェブ」のパフォーマンス レポートに含まれると、「AI 機能とウェブサイト」に書かれています。そのため、AI機能に出たかどうかだけを取り出して見ることはできません。測り方そのものはAI検索の効果測定で扱っています。

慣習の値と公式の基準を分ける

点検表を作るときに気をつけるのは、慣習で決まった数値を公式の基準と同じ列に混ぜないことです。Googleはタイトルやディスクリプションの文字数を定めていません。表示性能には公式の基準があり、Googleのウェブ開発者向けサイト web.dev が Core Web Vitals(=ページの読み込みの速さ、操作への反応、表示の安定性を測る3つの指標)として公表しています。指標ごとに、良好とされる値と出どころを整理しました。

Core Web Vitals の基準(web.dev、2026年9月2日確認)。判定は平均ではなく75パーセンタイルで見る

指標良好とされる値出どころ
Largest Contentful Paint読み込み開始から2.5秒以内web.dev「Web Vitals」
Interaction to Next Paint200ミリ秒以下web.dev「Web Vitals」
Cumulative Layout Shift0.1以下web.dev「Web Vitals」
判定に使う分位読み込みの75パーセンタイルweb.dev「Web Vitals」

横にスクロールできます

まとめ

AI検索のためのテクニカルSEOは、クローラーにページを読ませること、構造化データで意味を伝えること、robots.txt や JavaScript の設定で本文を取りこぼさせないことの3つに集まります。Googleが技術要件と呼んでいるのは、Googlebot がブロックされていないこと、ページが機能していること、インデックス登録可能なコンテンツが含まれていることの3つだけです。

進めるときは、robots.txt で Googlebot をブロックしていないかを見て、ページが HTTP 200 の応答を返すかを確かめ、サイトマップが要る規模かを判断する順が取りかかりやすいでしょう。そのうえで、JavaScriptで差し込む本文が読まれているかを見て、構造化データを検証のツールに通します。点検表を、はいかいいえで全部埋められた状態が到達点です。

GoogleのAI機能のために新しく作るファイルはありません。llms.txt を置くかどうかは、効果を示す資料が無いことを前提に決めてください。AI検索対策の全体の進め方はAIO対策のやり方で扱っています。自社のサイトでどこから手を付けるか迷う場合は、お問い合わせのページからご相談ください。

テクニカルSEOに関するよくある質問

構造化データを入れれば引用されますか

引用されるとは限りません。Googleは公式ドキュメントで、AI機能に表示されるために特別な schema.org の構造化データを追加する必要はないと書いています。第三者の調査には、構造化データと引用の関連を観察した報告がありますが、因果までは示されていません。リッチリザルトの表示を狙う手段としてはGoogleが説明しているので、その目的があるなら入れてください。

llms.txt は置くべきですか

置くよう勧める根拠も、置かないよう勧める根拠も、公開されている資料の中にはありません。llms.txt は llmstxt.org が提案しているファイルで、標準化団体が定めた規格ではありません。各社のクローラーの説明ページには、他サイトの llms.txt を読みに行くという記述がありません。新しいファイルを作る必要は無いというのが、Googleの側の書き方です。

AIのクローラーは止めるべきですか

目的によって分かれます。学習に使わせないことと、AI検索の答えに出ることは別の設定で、GPTBot を止めても OAI-SearchBot は動きます。OAI-SearchBot を止めた場合は、ChatGPT の検索の答えに表示されなくなるとOpenAIが書いています。Google-Extended については、拒否しても検索の掲載と順位には影響しないとGoogleが明記しています。各社の記述は developers.openai.com、support.claude.com、docs.perplexity.ai で読めます。

robots.txt に書けば、AIのクローラーは止まりますか

止まるとは限りません。Googleの公式ドキュメントは、指示に従うかどうかはクローラー次第だと書いています。Perplexity は、Perplexity-User が robots.txt のルールをおおむね見ないと自社のドキュメントに書いています。130のボットを40日間観測した研究(arXiv 2505.21733)も、AI検索のクローラーには robots.txt をほとんど確かめに来ないものがあると報告しています。見せたくないファイルについては、サーバーでパスワードを掛けて保護する方法をGoogleが勧めています。

サイトマップはすべてのサイトに要りますか

要らない場合があります。公式は、ページ数がおよそ500ページ以下で、内部リンクがすべてのページを網羅していて、検索結果に出したいメディアやニュースページが多くない場合は、必要ない可能性があると書いています。逆に、サイトが大きい場合、新しくて外部からのリンクが少ない場合、リッチメディアが多い場合は必要になることがあります。置いても、すべての項目が登録される保証はありません。

この記事の参考文献

掲載した決まりや条件は、ここに挙げたページの原文から引いています。ページ名とURL、確認日を並べたので、仕様が変わっている場合に備えて、確認日より後に読むときは原文のほうを見直してください。

ページURL確認日
Google 検索の技術要件https://developers.google.com/search/docs/essentials/technical?hl=ja2026年9月2日
robots.txt の概要とガイドhttps://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ja2026年9月2日
Google による robots.txt の指定の解釈https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec?hl=ja2026年9月2日
Robots meta タグ、data-nosnippet、X-Robots-Tag の指定https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag?hl=ja2026年9月2日
サイトマップについてhttps://developers.google.com/search/docs/crawling-indexing/sitemaps/overview?hl=ja2026年9月2日
JavaScript SEO の基本を理解するhttps://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics?hl=ja2026年9月2日
Google 検索における構造化データのマークアップの概要https://developers.google.com/search/docs/appearance/structured-data/intro-structured-data?hl=ja2026年9月2日
構造化データに関する一般的なガイドラインhttps://developers.google.com/search/docs/appearance/structured-data/sd-policies?hl=ja2026年9月2日
AI 機能とウェブサイトhttps://developers.google.com/search/docs/appearance/ai-features?hl=ja2026年9月2日
Google の一般的なクローラーの一覧https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers?hl=ja2026年9月2日
Things to Know about Google's Web Crawlinghttps://developers.google.com/crawling/docs/about-crawling2026年9月2日
Top ways to ensure your content performs well in Google's AI experiences on Searchhttps://developers.google.com/search/blog/2025/05/succeeding-in-ai-search2026年9月2日
Google 検索の生成 AI 機能向けに最適化するための Google のガイドhttps://developers.google.com/search/docs/fundamentals/ai-optimization-guide?hl=ja2026年9月16日
Overview of OpenAI Crawlershttps://developers.openai.com/api/docs/bots2026年9月2日
Anthropic のクローラーについてのサポート記事https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler2026年9月2日
Perplexity Crawlershttps://docs.perplexity.ai/docs/resources/perplexity-crawlers2026年9月11日
The /llms.txt file, v2https://llmstxt.org/2026年9月2日
Getting started with schema.org using Microdatahttps://schema.org/docs/gs.html2026年9月2日
Web Vitalshttps://web.dev/articles/vitals2026年9月2日
IndexNow FAQhttps://www.indexnow.org/faq2026年9月2日
Usage Statistics of Structured Data Formats for Websiteshttps://w3techs.com/technologies/overview/structured_data2026年9月11日
Scrapers selectively respect robots.txt directives(arXiv 2505.21733)https://arxiv.org/abs/2505.217332026年9月2日
AI Answer Engine Citation Behavior(arXiv 2509.10762)https://arxiv.org/abs/2509.107622026年9月11日

横にスクロールできます

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. Google 検索の技術要件(Google 検索セントラル)(新しいタブで開く)https://developers.google.com/search/docs/essentials/technical?hl=ja
  2. AI 機能とウェブサイト(Google 検索セントラル)(新しいタブで開く)https://developers.google.com/search/docs/appearance/ai-features?hl=ja
  3. Google による robots.txt の指定の解釈(Google 検索セントラル)(新しいタブで開く)https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt?hl=ja
  4. Overview of OpenAI Crawlers(OpenAI の開発者向けドキュメント)(新しいタブで開く)https://developers.openai.com/api/docs/bots
  5. The /llms.txt file, v2(llms.txt の提案仕様)(新しいタブで開く)https://llmstxt.org/
  6. Web Vitals(表示性能の指標の公式資料)(新しいタブで開く)https://web.dev/articles/vitals

この記事に出てくる用語

構造化データ
ページの意味を機械可読にする印づけ。schema.org の語彙をJSON-LDで書き、AIや検索の理解・引用を助けます。
schema.org
構造化データの共通語彙。Article・FAQ・Breadcrumb・Organizationなど数百の型で、ページの意味を機械可読にします。
llms.txt
サイトルートに置き、LLM(=大規模言語モデル、生成AIの頭脳)へサイトの要点と主要ページを案内する提案仕様。robots.txt が「入っていいか」を示すのに対し、llms.txt は「ここを読め」と案内します。まだ提案段階で普及は限定的。
robots.txt
サイト直下に置き、クローラーに取得してよい範囲を伝える取り決めファイル。強制力はなく準拠は任意。
クローラー(クロール)
リンクをたどってページを次々に取得して回る巡回プログラム(クローラー)と、その巡回作業(クロール)。

執筆者紹介

上席研究員

中村 仁紀

「GMO AI最適化ブースト」のAIO/GEOコンサルタント 兼 GMO AI検索ラボ 上席研究員。生成AIに引用・推奨されるためのウェブサイトの最適化を支援します。

プロフィールを見る
READ MORE

このテーマの記事を読む

RELATED

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編