robots.txt：AI学習に対する共通シグナルの登場と、マーチャントに迫られる判断

2026年10月30日、同じ日に3つの発表が重なりました。Googleは Search Central ブログで、robots.txt で AI学習に対する共通の制御手段をサポートすると表明し、OpenAIも同趣旨の記事を公開、Microsoftは Bingのスケジュールを示しました。共通項はひとつのトークンです。Anthropicで執筆され同日に公開された IETFのインターネットドラフトで定義され、参加する各社が同じ意味で読むことを約束しています。

具体的に何が変わるのか

これまで、自社コンテンツをモデル学習から外したいマーチャントは、各社独自のトークンを並べて管理する必要がありました。Googleでは2023年からの Google-Extended、OpenAIでは GPTBot、Microsoftでは NoArchive と NoCache のタグ、そして新しい事業者が現れるごとに1行追加です。IETFのドラフトはその代わりに、__usage_ai-training というひとつのポリシートークンを提案します。書き方は通常の robots.txt グループと同じです。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press/

参加事業者がこのグループを読むと、プレス用フォルダを除くサイト全体について「学習に使わないでほしい」という希望として解釈されます。文法は RFC 9309 そのもので、パスの規則も最長一致の優先順位も同じ。新しいディレクティブを覚える必要はありません。

アーキテクトにとって重要な点が3つあります。

クロールの規則ではない。 このトークンはボットのリクエストヘッダーには現れません。アクセスではなく「用途」を記述するものです。クロールを制限したいなら、Googlebot、Bingbot、GPTBot のグループが引き続き正しい層です。
ワイルドカードのグループは数えられない。 アスタリスク配下でカートと会員ページだけを禁止している robots.txt は、学習に関する希望を何も表していません。トークンを明示する必要があります。
トークンがなければ希望なし。 その場合、各社は従来の規則を適用し、独自トークンは独自の意味を保ちます。

学習と可視性は別物

ここがEC事業者にとって最大の落とし穴です。このトークンが扱うのは学習だけです。IETFは学習を「生成モデルの学習済みパラメータを変更するためにコンテンツを使うこと」と定義しています。従来の検索、ウェブを根拠に生成される回答（各社がグラウンディングと呼ぶもの）、カタログをリアルタイムで読むショッピングエージェントについては何も言っていません。

それでも各社は、それぞれの形で両者を結びつけています。Googleは、共通トークンで学習を拒否しつつ Google-Extended を明記しないサイトは、Google-Extended を禁止したものとして扱うと説明します。一方で、Google-Extended を明示的に許可したサイトだけが、Gemini アプリのグラウンディングによる回答とクリックの対象になります。つまりGoogleで学習を拒否すると、Gemini での露出を失う可能性があります。Microsoftは逆に二つの用途を分けています。学習は robots.txt かページ単位で、グラウンディングはページ単位のみで設定し、中間の選択肢として DisallowExtended を用意。これは自社コンテンツの利用を Microsoft の体験（Copilot、AI Mode、Microsoft 365）に限定し、第三者サービスからは外すものです。Microsoftは、グラウンディングを拒否するとAI体験におけるブランドの可視性が下がる一方、Bingの従来の検索結果には影響しないと注意しています。

したがってマーチャントにとっての問いは「AIをブロックするか否か」ではありません。手放したくない学習価値のあるコンテンツ（購入ガイド、比較記事、写真、レビュー）はどれか、そして失いたくないアシスタント上の存在感（商品ページ、在庫、価格）はどれか、です。

スケジュール

Google は他社と足並みを揃え、2027年中のサポートを目指します。Google-Extended は並行して機能し続けます。
OpenAI は今後数か月での展開を予告し、既存の制御手段は引き続き尊重されると確認しています。
Microsoft は2027年2月1日から新しい設定を適用します。2027年3月1日には NoArchive と NoCache が学習・グラウンディングの希望として読まれなくなるため、これらに頼っていたサイトはその日までにページ単位の設定を公開する必要があります。グラウンディングの移行用設定は2026年12月15日に Bing Webmaster Tools で開放されます。両設定の既定値は「許可」です。
標準化の面では、文書はまだドラフトで2027年5月3日に失効し、IETFの語彙の残りの部分については議論が続いています。Googleは、このアプローチが汎用AIモデルに関するEUの行動規範と整合しており、同規範が robots.txt をこうした希望を表す主要な手段として認めている点を強調しています。

Magento / Adobe Commerce の店舗で何をすべきか

現状を棚卸しする。 Magento 2 と Adobe Commerce では、robots.txt は管理画面のデザイン設定でウェブサイト単位に編集します。マルチサイトではドメインごとに別ファイルです。テーマ、SEOモジュール、CDNが付与する meta robots タグと X-Robots-Tag ヘッダーも洗い出してください。互いに矛盾していることが珍しくありません。
サイト単位ではなくゾーン単位で決める。 カタログ、編集コンテンツ、B2Bエリア、メディア。ゾーンごとに答えを出し、マーケティングと法務とともに文書化し、コードと一緒にバージョン管理します。
2027年より前に何も削除しない。 Google-Extended、GPTBot などの行は有効なままです。共通トークンは追加であって置き換えではなく、事業者は自社トークンをより具体的なものとして扱うことができます。
分離されたフロントを扱う。 ヘッドレス、Edge Delivery、Next.js のフロントでは robots.txt を配信するのは Magento ではありません。ファイルとヘッダーはフロントチームとCDNの管轄です。責任者は一人に絞るべきです。
測る。 AIボットの訪問を前後で記録し、アシスタント経由の訪問を追跡してください。拒否の実際のコストを見積もる唯一の方法です。

共通トークンは希望の書き方を簡単にしますが、あなたの代わりに決めてはくれません。コンテンツの保護とアシスタント上の存在感との間の判断は、アーキテクチャと経営の決定です。各社が準備期間を残している今こそ決める時です。