登録ドメイン（registered domain）

登録ドメイン（registered domain）とは、ホスト名を「実際に登録できる単位」まで刈り込んだ形です。AI検索の引用を数えるときは、URLをそのまま数えるのでも、TLDのように粗く束ねるのでもなく、この単位で数える場面がいちばん多くなります。この項では、登録ドメインの範囲がどこまでなのか、Public Suffix Listが何をしているのか、そして集計でどこを間違えやすいかを整理します。

登録ドメインとは何か

ドメイン名は右から左へ階層になっていますが、「どこから下を自由に登録できるか」はTLDごとに違います。com の下は example.com から自由に登録できます。一方 jp の下は、co.jp や ne.jp といった区切りがさらに置かれていて、実際に登録するのは example.co.jp の位置です。この「その下でしかドメイン名を登録できない区切り」を公開サフィックス（public suffix）と呼び、公開サフィックスに左隣のラベルを1つ足したものが登録ドメインになります。

どこが公開サフィックスなのかは、規則から機械的に導けるものではありません。co.jp が公開サフィックスで example.com がそうでないことは、TLDごとの登録の決まりを知っていないと判断できないためです。そこで使われるのがPublic Suffix List（＝公開サフィックスを列挙した一覧）で、Mozillaのボランティアと各レジストリからの登録で保守されています。ブラウザがCookie（＝サイトが端末に保存する小さなデータ）を他のサイトへ漏らさないようにする用途で作られた一覧ですが、いまはURLを組織の単位へ寄せる処理で広く参照されています。

なぜ重要か（AI検索での位置づけ）

AIの回答に付く出典は、URLの形で返ってきます。これをそのまま数えると、ページ単位の集計になります。ページ単位は「どの記事が引用されたか」を見るには適していますが、「どのサイトが引用されているか」は分かりません。同じサイトの別ページが何本も引用されている場合、ページ単位ではばらけたままになるからです。

かといってTLDまで刈り込むと、今度は粗すぎます。com に何件、jp に何件と出ても、どのサイトが引用されているかは分かりません。登録ドメインはこの中間にあたる単位で、ちょうど「1つの運営主体が押さえている場所」に近いところで束ねられます。引用ランキングを組むとき、行の単位に据えるのはこの登録ドメインになります。

BigQueryで寄せる（NET.REG_DOMAIN）

BigQuery（＝Google Cloudの大規模データ分析基盤）には、URLからこの3つの単位を取り出す関数が用意されています。NET.HOST がホスト名、NET.PUBLIC_SUFFIX が公開サフィックス、NET.REG_DOMAIN が登録ドメインを返します。NET.REG_DOMAIN は公式ドキュメントで「公開サフィックスと、その左隣のラベル1つ」を返すと定義されていて、参照する一覧はpublicsuffix.orgのものです。集めた出典URLをこの関数に通すだけで、サブドメインは自動的に寄ります。

注意したいのは、大文字小文字がそのまま残る点です。公開サフィックスを探すときは内部で小文字に直しますが、返ってくるのは元の文字列の一部なので、Example.Co.UK のように入力の見た目が保たれます。集計キーとして使うなら、そのあとで小文字にそろえる処理を自分で入れます。また、ホスト名を取り出せない場合や、公開サフィックスしか含まない場合はNULLが返るため、NULLの行がどれだけ出たかも一緒に数えておくと取りこぼしに気づけます。

もう1つ、Public Suffix Listにはprivate domain（＝ホスティング事業者などが自分で登録した区画）の欄がありますが、BigQueryのNet関数はこれを公開サフィックスとして扱いません。公式ドキュメントの例では、us.com がprivate domainとして載っていても NET.REG_DOMAIN("foo.us.com") は us.com を返す、と説明されています。ブログサービスのサブドメインを別サイトとして分けたい場合、この関数だけでは分かれないということです。

よくある誤解・注意点

登録ドメインに寄せるかどうかは、何を知りたいかで決まります。「どのサイトが引用されているか」を知りたいなら寄せます。一方で、同じ運営でもサブドメインごとに中身が独立している場合は、寄せると別のものを1つに混ぜてしまいます。集計の目的を先に決めて、寄せる／寄せないを固定し、レポートには必ずどちらで数えたかを書き添えます。

• 寄せると見えなくなるものがあります：サブドメインごとの差は、登録ドメインに寄せた時点で消えます。両方の粒度で数えておくと後から比べられます。
• 公開サフィックスの一覧は更新されます：いまNULLになる入力が、あとから値を返すようになることがあります。集計をやり直したときの差は、この更新で説明が付く場合があります。
• Punycodeを揃えます：日本語ドメイン名は xn-- で始まる形で記録されることがあり、見た目の文字列だけで突き合わせると別物として数えます。
• ページ単位の集計も残します：登録ドメインだけにすると、どの記事が引用されたかが追えなくなります。
• 1組織1行にはなりません：グループ会社が別ドメイン名を持っていれば行は分かれます。名寄せの方針は人が決めます。

実務の進め方

1. AIの回答から出典URLを取り出し、質問・日付・モデルとひもづけて保存します。
2. URLを NET.REG_DOMAIN に通し、登録ドメインの列を作ります。あわせて NET.HOST の列も残します。
3. 登録ドメインを小文字にそろえ、集計キーにします。
4. NULLになった行の件数を数え、URLの形が壊れていないかを確かめます。
5. 登録ドメイン別に引用回数を数え、母数と期間を添えて並べます。
6. 同じ運営とみなすドメイン名がある場合は、名寄せの対応表を別に持ち、寄せる前と寄せたあとの両方を残します。