AIにサイトを使わせたくないとき。一括のスイッチはなく、レバーが分かれている

「AIの学習には使われたくない。でもAI検索には出たい」。この要望自体は成立します。ただし一括で設定するスイッチはありません。

事業者ごと、しかも用途ごとにレバーが分かれています。しかも止めると消えるものが違います。店舗サイトで触る前に、どれが何に効くのかを分けておきます。

AI検索に出るための対策が特別に必要かという話はAI検索で引用されるサイトの条件にまとめました。ここでは止める側だけを扱います。

止める対象は3種類ある

どの事業者も、おおむね次の3つに分けています。

用途	止めるとどうなるか
モデルの学習	将来の学習に使われなくなる。すでに学習されたものは消えない
回答の生成・グラウンディング	AIの回答にサイトの内容が使われなくなる
ユーザーが質問したときの取得	その場でページを見に行く経路が止まる

店舗サイトにとって、2つ目と3つ目は「見つけてもらう経路」です。 ここを止めると、載りたい場面で載らなくなります。

Google：Google-Extended は検索に影響しない

Googleの制御トークンです。ドキュメントの説明です。

Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models.

Geminiの将来のモデルの学習と、Gemini アプリおよび Vertex AI でのグラウンディングが対象です。そして明記されています。

Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search.

検索の掲載には影響せず、ランキングシグナルにも使われません。 「拒否すると検索順位が下がるのでは」という心配は、ここで否定されています。

仕組みも押さえておきます。

Google-Extended doesn't have a separate HTTP request user agent string.

Google-Extended という名前のクローラーは来ません。 クロール自体は既存のGoogleのユーザーエージェントが行い、Google-Extended は robots.txt 側の制御トークンとして働きます。アクセスログを探しても見つからないのは、そういう仕組みだからです。

Google：検索のAI機能は、また別の設定

ここが混ざりやすいところです。Search Console に「検索の生成 AI」という設定があります。

「検索の生成 AI 設定」を使用すると、以下で説明する Google 検索の生成 AI 機能にお客様のサイトを含めるかどうかを管理できます。

対象は AI による概要（AI Overviews）、AI モード、Google Discover の生成AI機能です。設定場所は Search Console の［設定］＞［検索の生成 AI］とされています。

こちらにも、影響しない範囲が書かれています。

Google 検索の他の部分に影響を与えるランキングや掲載可否のシグナルとしては使用されません。

そして決定的な一文です。

この設定は AI のトレーニングには影響しません。

学習を制限したい場合は Google-Extended を使うよう案内されています。つまりGoogleだけで2つのレバーがあり、役割が逆です。 完全に検索から外したい場合は noindex を使う、とも書かれています。

Googleのレバー	効く範囲	学習への影響
Google-Extended	Geminiの学習とグラウンディング	あり
検索の生成AI設定	AI概要・AIモード・Discoverの生成AI	なし
noindex	検索そのものから除外	—

OpenAI は3つに分かれている

OAI-SearchBot、GPTBot、ChatGPT-User の3つで、設定はそれぞれ独立です。中身と、拒否したときに何が起きるかはAIの回答に古い店舗情報が出るとChatGPTに「近くの店」を聞かれて自店が出ないときに書いたので、ここでは繰り返しません。

要点だけ。検索に出したいなら OAI-SearchBot は許可する必要があります。 学習だけ止めるなら GPTBot です。

Anthropic も3つ

同じ構造です。サポート記事の説明を並べます。

ユーザーエージェント	役割	止めると
ClaudeBot	「helps enhance the utility and safety of our generative AI models」	将来の学習データから除外する意思表示になる
Claude-User	「supports Claude AI users」。質問に応じてページを取得する	ユーザー主導の検索での可視性が下がり得る
Claude-SearchBot	「navigates the web to improve search result quality for users」	検索結果での可視性と正確性が下がり得る

書き方の例が載っています。

User-agent: ClaudeBot
Disallow: /

クロール頻度を落とす書き方もあります。非標準の Crawl-delay 拡張に対応しているとされています。

User-agent: ClaudeBot
Crawl-delay: 1

注意が1つあります。 拒否したいサブドメインごとに書く必要があるとされています。そしてIPでのブロックについて、

may not work correctly or persistently guarantee an opt-out

と書かれています。理由は、IPで弾くと robots.txt 自体を読めなくなるからです。ファイアウォールやWAFで止めるのは、意図と逆の結果になり得ます。

共通のトークンは、まだ途中

「事業者ごとに書くのは無理がある」という話は、業界側も認識しています。IETFのAIPREFワーキンググループの作業をもとに、robots.txt に共通の「ポリシートークン」を置く動きがあります。

ただし進み方が違います。

Anthropicは、2026年10月30日から機械可読のシグナルを認識し始めたとしています。優先順位も明示されています。

If your robots.txt file names ClaudeBot, we follow that rule, even if your general setting says something different.

ClaudeBot を名指ししたルールが、共通設定より優先されます。 名指ししていなければ共通設定が適用されます。

Googleは、2026年10月のブログで方針を発表しました。共通トークンで学習を拒否していて、かつ Google-Extended を明示していない場合、Google-Extended を拒否したものとして扱う計画とされています。時期については、

aim[s] to support this new control

として2027年を目指す、と書かれています。発表時点では計画です。 あわせて、Google-Extended を明示的に許可しているサイトは、Gemini アプリのグラウンディング経由で回答に表示され、クリックを得る対象になるとされています。

今の時点で、1行書けば全事業者に効く設定は存在しません。

店舗サイトでの決め方

店舗サイトは「見つけてもらう」ために置いているものです。そこから逆算すると、判断はだいたい一方向になります。

1. 回答・検索系は許可する。 OAI-SearchBot、Claude-SearchBot、Claude-User、検索の生成AI設定。ここを止めると、載りたい場面で載りません
2. 学習系は好みで決める。 GPTBot、ClaudeBot、Google-Extended。止めても検索・回答には影響しないと各社が書いています
3. 止めるなら、サブドメインごとに書く。 robots.txt はホスト単位です
4. IPで弾かない。 robots.txt が読めなくなり、拒否が成立しません

そして前提として、学習を止めても、すでに学習されたものは消えません。 古い情報がAIの回答に出る場合の対処は、止める設定ではなくページを直す側です。

まとめ

• AIへの利用を一括で止める設定は、現時点では存在しない
• 用途は学習／回答の生成・グラウンディング／ユーザー質問時の取得の3種類
• Google-Extended は Gemini の学習とグラウンディングが対象。検索の掲載とランキングには影響しない
• Google-Extended はクローラーではない。独自のユーザーエージェント文字列を持たない
• 検索の生成AI設定は Search Console にあり、AI概要・AIモード・Discoverが対象。学習には影響しない
• 検索そのものから外すなら noindex
• OpenAIとAnthropicはそれぞれ3つのユーザーエージェントに分かれている
• 検索系を止めると、AIの回答での可視性が下がり得ると各社が明記している
• 拒否はサブドメインごとに書く。IPでのブロックは robots.txt が読めなくなるため推奨されていない
• 共通トークンはAnthropicが2026年10月30日から認識開始、Googleは2027年を目指す計画
• 名指しのルールが共通設定より優先される（Anthropic）

まず robots.txt を開いて、現状どのボットが書かれているかを確認してください。昔コピーした設定が残っていて、検索系まで止めていることがあります。

店舗情報の整備もあわせて点検したい方へ。無料のMEO診断では、Googleビジネスプロフィールの記載内容を確認してお返ししています。