本文へスキップ

GLOSSARY

定点観測

同じ質問を、同じ条件で、同じ間隔で送り続けて記録する調べ方。1回の実測では分からない変化を、時間の軸で捉えます。

ていてんかんそく6分で読めます

定点観測とは、同じ対象を、同じ条件で、同じ間隔で測り続けて記録する調べ方です。AI検索の計測では、同じ質問を毎日AIに送り、返ってきた回答と出典を日付ごとに貯めていく形をとります。この項では、定点観測で何を固定して何を動かすのか、1回の実測と何が違うのか、そして途中で条件を変えたときに何が起きるのかを整理します。

定点観測とは何か

定点観測の要は、測り方をそろえることにあります。測る場所・測る対象・測り方のどれかが途中で変わると、記録の前半と後半が比べられなくなります。気象庁のさくらの開花日は、地点ごとに決めた標本木を毎年同じ基準で観察して記録します。日本銀行の短観は、調査対象の選び方と質問文の設計をそろえたまま四半期ごとに実施します。どちらも、1回の値の正確さより、同じものさしで並べられることを優先した設計です。

AI検索に当てはめると、固定するのは質問文・送る相手AIのサービスとモデル)送る時刻や間隔・記録する項目です。動くのはAI側の回答と、そこに付いてくる出典URLです。固定した側を「条件」、動く側を「結果」と呼び分けておくと、あとで数字が動いたときにどちらの変化なのかを切り分けられます。

ぜ重要か(AI検索での位置づけ)

AI検索の回答は、同じ質問でも毎回そっくり同じにはなりません。生成の過程に揺らぎがあることに加えて、Web検索を行うモデルではそのとき参照されたページが変われば出典も変わります。したがって「ChatGPTに聞いたら自社が出た」という1回の結果は、そのとき出たという事実以上のことを示しません。次の日に同じ質問をして出ないこともあります。

さらに、AIのモデルは更新されますし、検索側の仕様も変わります。Google検索セントラルの更新履歴を見ると、構造化データの扱いや表示機能そのものが入れ替わっていることが分かります。つまり測る対象が動き続けている状態です。この上で「自社が引用されているか」を語ろうとすれば、一定の間隔で測り続けて、動きの幅も含めて記録することが要ります。定点観測は、動くものを動くまま記録するための設計です。

何を固定し、何を動かすか

定点観測での固定と可変の切り分け。左の4つが動くと、記録の前後が比べられなくなります。

要素扱い理由
質問文固定する文言が変われば結果が変わり、前後を比べられなくなる
送る相手サービス・モデル)固定するモデルごとに出典の付け方が違うため、混ぜると読めなくなる
送る間隔・時刻固定する間隔が不規則だと増減を日次で並べられない
記録する項目固定する途中で項目を足すと、前半に欠測が生じる
回答の本文結果として記録言い回しの変化そのものが観測対象になる
出典URL結果として記録引用の入れ替わりを数えるための一次データ

横にスクロールできます

この切り分けを最初に文書へ残しておくことが、あとから効いてきます。半年たってから「なこの日から数字が跳ねたのか」を調べる場面が必ず来るためです。条件の変更履歴を日付付きで残しておけば、跳ねが観測対象の変化なのか、こちらの測り方の変更なのかを切り分けられます。

1回の実測との違い

1回の実測と定点観測で答えられる問いの差。最後の1行だけは、定点観測でも直接は答えられません。

問い1回の実測定点観測
いま引用されているか答えられる答えられる
先月より増えたか答えられない答えられる
たまたまか、続いているか答えられない答えられる
引用先が入れ替わっているか答えられない答えられる
ある施策が原因か答えられない慎重に見る必要がある

横にスクロールできます

最後の行に注意が要ります。定点観測で分かるのは「いつ、どう動いたか」までです。その動きが自社の施策によるものかどうかは、同じ時期にAI側でも変化が起きている以上、記録だけでは切り分けられません。施策の前後で数字が動いたとしても、それは前後関係であって因果ではない、と断ったうえで示します。

実務の進め方

  1. 何を知りたいのかを1文で書き、そこから質問文を作ります。質問文はこの先ずっと変えない前提で決めます。
  2. 送る相手サービスとモデル)と間隔を決め、記録する項目(回答本文・出典URL・日付・モデル名)を固定します。
  3. 毎日決まった時刻に自動で送り、結果を日付ごとに貯めます。手作業だと欠測が出ます。
  4. 欠測した日を記録します。「その日は0件だった」と「その日は測れなかった」を混同しないようにします。
  5. 一定期間ためてから、日次・週次で数え直し、動きの幅を見ます。1日の値だけで語らないようにします。
  6. 条件を変えたときは、変更日と変更内容を残します。数字の断層を説明できるようにしておきます。

記録の貯め方も設計に含めます。日付ごとに追記していく形にしておくと、あとから期間を切って数え直せます。逆に最新の状態だけを上書きしていく作りにすると、過去に戻れなくなり、定点観測の意味がなくなります。「消さずに足す」を原則にします。

何日分ためれば傾向を語れますか。

一律の日数はありません。まずは日ごとの値がどれくらい上下するかを見て、その振れ幅より大きな動きが出ているかで判断します。振れ幅の中に収まっている差を「増えた」と言わないことのほうが大切です。

毎日でなく、週1回でもよいですか。

間隔をそろえて続けるなら成立します。ただし間隔が長いほど、その間に起きた入れ替わりは見えなくなります。何を捉えたいかで間隔を決め、途中で変えないようにしてください。

質問文を増やしたいときはどうしますか。

既存の質問はそのまま残し、新しい質問として追加します。追加した日を記録しておけば、全体の件数が増えた理由を説明できます。既存の質問を書き換えると、その質問の記録は前後で別物になります。

AIの回答が毎回違うのに、記録する意味はありますか。

あります。毎回違うからこそ、1回の結果では判断できません。同じ条件で繰り返し記録すれば、揺れの幅と、その幅を超える動きを分けて読めるようになります。揺れの大きさ自体も、その質問の性質を表す情報になります。

関連する出典

この記事の根拠にした一次情報(=発表元がみずから出している資料)です。

  1. 日本銀行: 短観(全国企業短期経済観測調査)の解説(新しいタブで開く)https://www.boj.or.jp/statistics/outline/exp/tk/extk01.htm
  2. 気象庁: さくらの開花日(同じ標本木で続けている記録)(新しいタブで開く)https://www.data.jma.go.jp/sakura/data/
  3. Google 検索セントラル: ドキュメントの更新履歴(検索側の仕様が変わり続けている記録)(新しいタブで開く)https://developers.google.com/search/updates

関連用語

順位相関(スピアマンの順位相関係数)

じゅんいそうかん

値そのものではなく、順位どうしの結びつきの強さを見る指標。-1から+1までの値をとり、外れ値に振り回されにくいのが特徴です。

引用率

いんようりつ

AI回答が自社を出典として挙げる割合。当ラボの中心的な計測指標で、GEO/AEOの成果を測る温度計にあたります。

シェア・オブ・ボイス

しぇあおぶぼいす

ある話題での露出全体のうち、自社ブランドが占める割合。もとは広告費の占有率を測る指標で、AI回答での言及シェアに応用されます。

可視性(visibility)

かしせい

AI検索や従来検索の回答面で、自社がどれだけ見つけられ・参照されるかを測る総合指標。本丸は引用・言及であり、クロール量ではありません。

ブランド言及

ぶらんどげんきゅう

AI回答や記事の本文中で、自社ブランド名が触れられること。出典リンクを伴わなくても、認知や信頼の面で価値があります。

AI検索の利用実態

えーあいけんさくのりようじったい

消費者がAI検索をどれだけ・どのように使っているかを測る調査観点。当ラボの消費者調査シリーズの柱で、独自の一次データを受ける枠。

ログ解析

ろぐかいせき

サーバーが記録した全リクエストのログを集計し、AIボットの訪問回数・頻度・巡回範囲を可視化する分析手法。

AI検索

エーアイけんさく

生成AIを使って答えを導く検索の総称。

CONTACT US

お問い合わせ

調査・取材・共同研究のご相談を承ります。

FOLLOW US

最新情報をチェック

新着のレポートと研究員コラムをお知らせします。

調査レポート日本のAI検索 実態レポート 第1回:通信キャリア編