LLM（大規模言語モデル）

LLM（大規模言語モデル）とは、大量の文章で学習し、「次に来る語」を確率で予測しながら文章を1語ずつ作るAIです。ChatGPT・Claude・Gemini などの生成AIの中身であり、AI検索の回答文を実際に書いているのがこのLLMです。当ラボの研究対象である「AIに引用されるための最適化」は、突き詰めればこのLLMが何を根拠に、どの情報源を選んで答えを組み立てるかを扱う話であり、LLMの仕組みを理解することがすべての出発点になります。

LLMとは（正確な定義）

LLM は Large Language Model の頭文字で、日本語では「大規模言語モデル」と訳します。3つの語に分けると本質が見えます。Large（大規模）＝学習に使うテキスト量と、モデル内部の調整可能な数値（パラメータ＝学習で決まる重み。数十億〜数千億個規模）がともに巨大であること。Language（言語）＝扱う対象が自然言語（＝人間が日常で使う言葉）であること。Model（モデル）＝現実の何かを数式で近似的に再現した仕組みであること。つまりLLMは、膨大な文章から言葉の並び方の規則性を学び取り、それを数式として保持した「言葉の予測装置」です。

LLMの根っこにある動作は、驚くほど単純です。「これまでの文（コンテキスト＝文脈）を見て、次に来る1語を確率で当てる」——これだけです。「日本の首都は」まで与えられれば、「東京」が最も高い確率になるよう学習されており、それを出力します。次に「東京。」まで含めて、また次の語を予測します。この「次の語予測」を何万回も繰り返すことで、一見すると知的に見える長い文章が生成されます。答えを検索してくるのでも、正誤を判定するのでもなく、統計的にありそうな続きを積み上げているにすぎない、という点がLLMを理解する最重要のポイントです。

この「次の語予測」を、人間が正解ラベルを一つひとつ付けなくても学べるのが、LLMが大規模化できた理由です。Web上の文章そのものが「前の語→次の語」という正解ペアを無数に含んでいるため、テキストさえ大量に与えれば、モデルは自動的に言葉のつながりを学習していきます（自己教師あり学習＝データ自身が正解を兼ねる学習方式）。ラベル付けの人手コストが要らないぶん、学習量を桁違いに増やせ、その結果として文法・語彙・世界知識・簡単な推論までを、明示的に教えられないまま獲得していきます。

なぜ重要か（AI検索での位置づけ）

AI検索対策（AIO＝AI Optimization。AIに引用・参照されるための最適化）を考えるうえで、LLMの理解は避けて通れません。なぜなら、AI検索の回答文を最終的に書いているのは検索エンジンでもデータベースでもなく、このLLMだからです。ユーザーが問いを入力すると、AI検索はWebから関連文書を集め（retrieval＝情報取得）、その文書をLLMに渡して、要約と回答文の生成を任せます。このとき「どの情報源を根拠として引用するか」「どの一文を抜き出して答えに使うか」を選んでいるのがLLMです。つまり自社が引用されるかどうかは、LLMにとって「引用しやすい・信頼できる情報」に見えるかにかかっています。

LLMが「次の語を確率で予測する」仕組みであることは、AIO対策の具体的な打ち手に直結します。第一に、LLMは学習時点までの知識しか内部に持たないため、最新情報や自社固有の情報は外部から与えないと答えられません。これがRAG（検索拡張生成＝外部文書を取り込んでから答えを作る手法）が必要になる理由であり、逆にいえば「AIが取り込みやすい形で情報を出しておく」ことが露出の前提になります。第二に、LLMは確率で言葉を積むため、根拠が薄い問いには誤った断定（ハルシネーション）をしやすいです。だからこそ、出典を明示し一次情報を構造化して置くことが、AIに正しく引用してもらうための実務対策になります。

もう一段踏み込むと、LLMが答えの根拠を選ぶ挙動は「結論を先に言い切っているか」「数値や固有名詞が明示されているか」「一文が独立して抜き出せるか」に敏感です。LLMは文章を細かい単位（トークン）に分けて処理し、抜き出しやすいまとまりを回答に組み込みます。回りくどい前置きの後にようやく結論が来る文章より、冒頭で結論と根拠を提示する文章のほうが、LLMにとって引用しやすいです。これは従来のSEO（検索エンジン最適化）とは異なる、LLMの生成特性に根ざした新しい書き方の原則であり、当ラボが「引用される記事」の条件として研究している中心テーマです。

仕組み（トークン化・学習・推論の3段）

LLMの動作は、大きく「トークン化」「学習」「推論」の3段に分けて捉えると整理しやすくなります。それぞれを順に見ていきます。

• トークン化: 入力された文章を、モデルが扱える最小単位「トークン」（＝語や語の一部の断片）に分解します。LLMは文字そのままでなく、トークンの列として文章を処理する
• 学習（訓練）: 大量のテキストで「次のトークンを当てる」練習を繰り返し、外すたびに内部のパラメータ（重み）を少しずつ調整して予測精度を上げていきます。ここで文法・知識・言い回しが数値として刻み込まれる
• 推論（生成）: 学習で固まったモデルに、ユーザーの入力（プロンプト）を与え、次のトークンを1つずつ確率予測して出力します。これを繰り返して回答文を組み立てます。学習は事前に一度、推論は利用のたびに走る

現在の主要なLLMは、Transformer（トランスフォーマー＝2017年にGoogleの研究者らが提案した、文中の語どうしの関係を一気に捉えるニューラルネットワークの構造）を土台にしています。Transformerの中核は「アテンション（attention＝注意機構）」という仕組みで、文中のどの語が、いま予測しようとしている語にとって重要かに「注意を向ける」ことで、離れた語どうしの関係も捉えられます。「その会社」が文中のどの企業を指すか、といった文脈依存の理解ができるのは、この仕組みのおかげです。この構造が、それ以前の手法より長い文脈を扱えるようにし、LLMの飛躍的な性能向上をもたらしました。

推論の段では、次のトークンの「確率分布」（＝どのトークンが何%くらい来そうか、という一覧）が毎回計算されます。ここで、いつも最も確率の高いトークンだけを選ぶと、無難だが単調な文になります。そこで実際には、確率に応じて少しばらつかせて選ぶ調整（temperature＝ばらつきの度合いを決める設定値。高いほど多様で、低いほど堅実な出力になる）が入ります。同じ問いを与えても回答の言い回しが毎回わずかに変わるのは、この確率的な選び方が理由です。この「毎回同じとは限らない」性質は、AI検索での引用のされ方を計測するときにも意識すべき点で、当ラボが同じ問いを繰り返し観測して傾向を測るのは、この揺らぎを均すためです。

具体例・主要モデルと規模感

「大規模」がどの程度かを、代表的なモデル系列で押さえておきます。数値は世代や公表状況で変わり、非公表のものも多いため、ここでは「桁感」を掴むための整理にとどめます。厳密な最新値は各社の公式情報で確認してください。

パラメータ数（＝学習で決まる内部の重みの個数）は、モデルが大型化するにつれて桁違いに増えてきました。ただし近年の主要な商用モデルについて、各社はパラメータ数を公表していません。学習に使うテキスト量も、書籍・Web・コードなどを合わせて膨大です。ただし「パラメータが多いほど賢い」という単純な関係ではなく、学習データの質と量、学習後の調整（人間の好みに合わせるチューニング）が性能を大きく左右します。近年は、巨大化一辺倒ではなく、小型でも十分な性能を出す効率化の流れも強まっています。AIO対策の観点では、どのモデルが使われるかより、「どのモデルも学習済み知識＋外部取得情報で答えを作る」という共通の枠組みのほうが重要です。

• 学習済み知識: 訓練時点までにモデル内部に取り込まれた一般知識。最新情報や社内固有情報は含まれない
• カットオフ（knowledge cutoff）: 学習データの締め切り時点。これより後の出来事はモデル単体では知らない
• 外部取得情報: RAGやWeb検索でその場に与えられる、モデルの外にある最新・固有の情報。AIO対策が働きかける対象はここ

誤解・注意点

LLMをめぐっては、実務判断を誤らせる思い込みがいくつもあります。とくに「LLMは検索エンジンだ」「LLMは事実を保存している」「LLMは意味を人間のように理解している」という3つは、AIO対策の設計を歪めやすいので注意が必要です。

また「LLM＝ChatGPTなどのサービスそのもの」という理解もずれています。LLMはあくまで文章を生成する中核エンジンで、実際のAI検索サービスは、その周りにWeb検索・出典引用・安全対策・対話管理といった多くの部品を組み合わせて成り立っています。AI検索で自社が引用されるかは、LLM単体の性能だけでなく、この「取得と引用の仕組み」全体との相互作用で決まります。LLMの理解は必要条件ですが、それだけでAI検索の挙動をすべて説明できるわけではない、という距離感を持っておくことが実務では大切です。

実務での扱い方

AI検索対策の担当者が、LLMの理解を実務に落とし込むための手順を、優先度順に整理します。

1. 前提を押さえる: LLMは「次の語を確率予測する装置」であり、事実の保管庫でも検索エンジンでもない、と全員の共通認識にする
2. 結論先出しで書く: LLMが抜き出しやすいよう、記事の冒頭に結論と根拠（数値・出典・固有名詞）を置きます。前置きを長くしない
3. 一次情報を明示する: 出典・データの出どころを本文内に書き、LLMが「信頼できる引用元」と判断しやすくする
4. 外部取得の前提で設計する: 最新・固有情報はモデル内部にないため、AIが取得しやすい構造（明確な見出し・構造化データ）で公開する
5. 揺らぎを織り込む: 同じ問いでも回答は毎回わずかに変わります。1回の結果で判断せず、繰り返し観測して傾向で捉える