AI学習をrobots.txtで制御するには？Googleの共通ポリシートークン構想とGoogle-Extendedの関係

「自社サイトの記事や画像が、気づかないうちにAIの学習に使われていないか」。そうした不安からrobots.txtの設定を見直したいものの、どこまで制御できるのか、Google-Extendedと何が違うのか、今すぐ変更すべきかで迷う方は少なくありません。Googleは2026年10月30日、複数のAI事業者に対してAI学習の希望をまとめて伝えられるよう、robots.txtで共通のポリシートークンを扱う構想を発表しました。

ただし、これは2027年のサポート開始を目指す計画段階の発表であり、すでに利用できる機能ではありません。本記事では、Googleの原文で示された内容に沿って、共通ポリシートークンの位置づけとGoogle-Extendedとの関係を整理し、自社サイトで今確認しておきたい判断材料をお伝えします。

AI学習の許可・拒否を、robots.txtでどう考える？

自社サイトの文章や画像をAI学習に使わせてよいか迷う

商品紹介の記事、自社で撮った写真、会社概要。どれをAIの学習に使われてよいかは、一律には決められません。「AIの回答で自社製品を紹介してほしい」という営業からの希望と、「無断で使われたくない」という現場の声が同時にある会社もあるでしょう。ここで扱うのは、外部のAI事業者が自社コンテンツを学習に使うかどうかの制御です。検索順位を上げる施策や、社内のチャットAIに何を入力してよいかというルールとは、目的も対象も別になります。

robots.txtとGoogle-Extended、何をどこで設定するのか分からない

robots.txtは、サイトの直下に置くテキストファイルで、クローラーに対する指示を書く場所です。Google-Extendedは、Googleが2023年から提供しているAI学習向けの制御だと原文に記されています。まず押さえたいのは、自社サイトで今どれが指定されているかです。

• サイト直下のrobots.txtに、現在どんな記述があるか
• Google-Extendedの許可・拒否が書かれているか
• そのファイルを編集できるのは誰か（制作会社・サーバー担当など）

なお、共通ポリシートークンの具体的な名称や記述例は、今回の原文には示されていません。書き方を推測でお伝えすることはできないため、本章では現在の設定を確認するところまでにします。

今回の発表は、共通トークンの提供開始ではなく計画

原文はrobots.txtで共通のAI学習制御をサポートするという計画の発表で、2027年に他のAI事業者とともにサポートすることを目指す、としています。すでに使える機能ではなく、仕様はIETFのAIPREFワーキンググループで議論が続く段階です。したがって、今日すぐに設定を変える必要はありません。自社のコンテンツをどう扱ってほしいのかを言葉にしておき、続報を待つ。それが本章の出発点です。

Googleが示した「共通ポリシートークン」構想とは

複数のAI事業者にまとめて意思を伝える仕組み

原文によると、共通ポリシートークンは、AI事業者ごとに別々の指示を管理する代わりに、robots.txtで広い希望をまとめて示す仕組みです。参加事業者が同じ意思表示をそれぞれ解釈します。具体的なトークン名や記述例は示されていません。

拒否の意思表示を、Googleはどう解釈する計画か

共通ポリシートークンで学習を拒否し、Google-Extendedを明示していない場合、GoogleはGoogle-Extendedを拒否したものとして解釈する計画です。全事業者をまとめて拒否することも、事業者を選ぶこともできると説明しています。

Google-Extendedを明示していない場合

個別指定がないときの扱いを定めるもので、個別指定を残す場合は共通信号と併せて扱われます。

既存の個別制御は、新しい共通信号と併用される

既存の事業者ごとの個別制御は、新しい共通信号と並んで引き続き機能します。広い意思表示と個別の指示を組み合わせられます。Google-Extendedを明示的に許可したサイトは、Geminiアプリのグラウンディング経由で回答に表示され、クリックを受け取る対象になり得ると原文は述べています。

草案段階で、仕様は今後変わり得る

今回の提案は草案で、AIPREFの語彙全体については議論が続いています。仕様や運用は今後変わり得ます。Googleは2027年に他のAI事業者とともにサポートすることを目指すとしています。

IETFのAIPREFワーキンググループ

今回の仕組みは、AIPREFワーキンググループの成果に基づくと原文は説明しています。Googleは今後もこの場で標準化を進めるとしています。

EUのGPAI行動規範との整合

原文は、EUのAI法の汎用AIモデル提供者向け行動規範とも整合するとしています。robots.txtを、発行者が機械可読な希望を示す主要な方法として認める内容です。

Google-Extendedと新しい共通信号は何が違う？

前章では、共通ポリシートークンが複数のAI事業者にまとめて意思を伝える構想であることを確認しました。ここでは、すでに使えるGoogle-Extendedと計画中の共通信号の違いを整理します。

Google-Extendedは、Google向けに2023年から提供されている制御

Google-Extendedは、Googleが2023年から提供しているAI学習向けの制御です。原文では、サイト運営者に用意してきた明確な制御の一つと位置づけられ、共通信号が始まっても個別制御として併用できるとされています。まずは自社サイトでこの指定の有無を確認します。

共通ポリシートークンは、参加事業者をまたぐ制御を目指す

共通ポリシートークンは、AI事業者ごとに別々の指示を管理する代わりに、robots.txtで広い希望をまとめて示す仕組みです。参加する事業者が同じ表示をそれぞれ解釈する点が、Google単独の制御との違いです。名称や記述例は原文になく、2027年のサポート開始を目指す計画段階にあります。

Google-Extendedを明示的に許可した場合に原文が触れていること

共通信号と個別制御は併用されるため、共通トークンで広い方針を示しつつ、Google向けには別の指定を置けます。原文は、Google-Extendedを明示的に許可したサイトの扱いにも触れています。

Geminiアプリのグラウンディング経由の表示

Google-Extendedを明示的に許可したサイトは、Geminiアプリのグラウンディング経由で回答に表示される対象になり得ると原文は述べています。グラウンディングは、回答を作る際に外部情報を参照する仕組みです。

回答からクリックにつながる可能性

同じ記述で、回答からサイトへのクリックを受け取る可能性があるともしています。学習の許可と、回答での表示や流入は別の論点です。どちらを望むかを分けて考える必要があります。

自社サイトでは今、何を確認してどう決める？

前章までで、共通ポリシートークンが計画段階の仕組みであることを確認しました。この章では、自社サイトの現状を棚卸しし、今すぐ動くのか、2027年のサポート開始を待って見直すのかを整理します。

コンテンツを「AI学習に使われてよいか」で分ける

サイト全体を一律に決める必要はありません。たとえば、商品写真は見てほしいがノウハウ記事は学習に使われたくない、という分け方が考えられます。ここでは例として挙げますが、答えは会社ごとに異なります。まずは主要なページを種類ごとに書き出し、許可・拒否・保留のどれかを仮に置いてみます。

• 商品やサービスの紹介ページ
• 自社で撮影した写真や図版
• ノウハウや事例の記事
• 会社概要・採用などの基本情報

現在のrobots.txtとGoogle-Extendedの記述を確認する

robots.txtはサイト直下に置くテキストファイルで、クローラーへの指示を書く場所です。Google-ExtendedはGoogleが2023年から提供しているAI学習向けの制御で、原文では既存の個別制御として、新しい共通信号と併用されるとされています。まずは現状の記述と、編集できる担当を確認します。

• サイト直下のrobots.txtに何が書かれているか
• Google-Extendedの許可・拒否の記述があるか
• 編集権限が自社にあるか（制作会社・サーバー担当など）

2027年にサポート開始を目指す発表を踏まえ、方針をメモする

原文は、2027年に他のAI事業者とともにサポートすることを目指すという計画の発表です。仕様はIETFのAIPREFワーキンググループで議論が続いており、トークン名や記述例は示されていません。今の段階では設定を変えるのではなく、判断の材料と方針をメモに残しておくのが現実的です。

共通トークンの仕様が公表されたら確認すること

• トークンの名称と記述する位置
• 学習を拒否した場合のGoogleの解釈
• 参加するAI事業者の範囲

既存の個別設定との整合

共通トークンとGoogle-Extendedは併用される想定です。共通トークンで広い方針を示し、Google向けには別の指定を置けます。両者の記述が矛盾しないかを、仕様の公表後にあわせて確認します。

2027年に向けて、今のうちに押さえておきたいこと

前章では、自社サイトの現状を棚卸しし、今すぐ設定を変えるのではなく方針をメモに残すところまでを確認しました。最終章では、発表の時期表現を正確に読み、社内の体制と続報の確認方法を決めます。

「2027年にサポートを目指す」という表現を正確に読む

原文は、2027年に他のAI事業者とともにこの新しい制御をサポートすることを目指すとしています。確定した提供日ではなく目標です。仕様はIETFのAIPREFワーキンググループで議論が続いており、トークン名や記述例は示されていません。「2027年に必ず使える」と読み替えず、決まっていない前提で予定を組みます。

自社の方針と、社内で確認する担当を決めておく

方針は、コンテンツの種類ごとの許可・拒否・保留と、Google-Extendedの扱いを一枚にまとめます。担当は、robots.txtを編集できる人と、方針を承認する人を分けておくと、仕様が公表されたときに判断が進みます。

• 学習利用の可否の方針
• robots.txtの編集権限を持つ人
• 方針を承認する人
• 次回の見直し時期

続報を確認する窓口とタイミングを決める

原文は進捗の更新を出すとしています。Google Search Central Blogなど発表元を直接確認する窓口を決め、月1回など無理のない頻度で見る運用にします。仕様が公表されたら、トークン名、記述位置、Googleの解釈、参加事業者の範囲を確認し、既存のGoogle-Extendedの記述と矛盾しないかを見直します。