robots.txtのAI学習拒否が1行に。
3社の開始は、まだ先。
この記事の読者：個人向け（ブログやサイトを持っていて、自分の文章をAIの学習に使われたくない人）／情シス・DX担当（自社サイトのrobots.txtを管理している人）／エンジニア向け（robots.txtを書き換える立場の人）／経営・管理職（自社の文章をAI学習に使わせる方針を決める人）／全社員・非専門（「robots.txtって何」から知りたい人）。専門知識が無くても、「方針を1行で決める」の一点は真似できます。
要点：OpenAI・Google・Microsoftが、robots.txtに「User-Agent: __usage_ai-training」の行を書けばAI学習の拒否を伝えられる共通の書き方に対応すると表明しました。開始はOpenAIが今後数か月、Googleが2027年、Microsoftが2027年2月1日と報じられ、3社とも今日はまだ読んでいません。今日やるのは、自分のrobots.txtを開いて方針を1行で決めること。足すのは2〜3行ですが、クローラー名の行が先に効く余地があります。
robots.txtの1行で、AI学習を拒否できるようになります。
OpenAI・Google・Microsoftが、10月30日（米国時間）に、共通の書き方を読むと表明しました。
ただし、3社とも読み始めるのは先です。
私は10月31日朝に、書き方を定めたIETFのドラフト本文を読み、各社の表明を伝える報道4本と突き合わせました。
新しい命令は増えない。「__usage_ai-training」という名前の行が、1つ増えるだけ
robots.txtは、サイトの入口に置く「クローラー向けの案内」です。
「User-agent: GPTBot」のように、会社ごとのボットの名前を書いて、入ってよい場所を指定します。
今回の共通の書き方は、この名前の欄に、ボットの名前ではなく用途の名前を書きます。
ドラフトの本文から、骨を5つ拾います。
- 書き方は、ふつうのrobots.txtのグループ。新しい命令語も、新しい文法も無い、とドラフトは書いています。
- 名前は「__usage_ai-training」。先頭のアンダースコアは2つです。
- Disallowは「学習に使わないでほしい」、Allowは「使ってよい」。パスごとに分けられます。
- この名前の行が無ければ、希望は「表明されていない」扱い。何も書かないことは、許可でも拒否でもありません。
- 「User-agent: *」の行は、この名前には当たらない。ドラフトは「当たってはならない（MUST NOT）」と書いています。
ドラフトにある例は、これです。
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
意味は、「/press-kit/ 以外は、AI学習に使わないでほしい」。
サイト全体を拒否するなら、最後の1行を外します。
見落としやすい点が、1つあります。
この名前の行は、学習に使うかどうかの「希望」で、取りに来るのを止める命令ではありません。
ドラフトは「クロールの指示ではない」と書いています。
取りに来るのを止めたいなら、これまでどおり、ボットの名前で書きます。
3社が読み始めるのは、今後数か月から2027年。今日足しても、効くのはまだ先
各社の表明は、報道が伝える範囲で次のとおりです。
| 会社 | いつから | 書かれていること |
|---|---|---|
| OpenAI | 今後数か月（日付なし） | 実装するときに詳細を出す。GPTBotなど既存のrobots.txt設定は、これまでどおり尊重する |
| 2027年（「2027年初め」とする報道もある） | Google-Extendedを明示せずに共通の名前で拒否したら、Google-Extendedを拒否したものとして読む予定。Google-Extendedは残る | |
| Microsoft | 2027年2月1日 | 共通の希望を読む。AI回答への利用を分ける設定も別に用意する、と報じられている |
| Anthropic | 不明 | ドラフトの著者の所属先。実装を始めたと報じるものと、会社の発表を確認できなかったとするものがある |
つまり、今日robots.txtに足しても、3社の動きは今日は変わりません。
ドラフトも、個人の提案であってIETFが認めた標準ではないと、最初に書いています（10月30日付・有効期限は2027年5月3日）。
「会社ごとの名前を並べずに済む日が、近づいてきた」というのが、いまの正確な位置です。
先に、今日やることを5つ並べます。
切り出して、そのまま使えます。
- 自分のrobots.txtを開く。アドレスバーに「自分のドメイン/robots.txt」と入れるだけ。
- 方針を1行で決める。「学習には使わせない。検索や引用で拾われるのは歓迎」など。
- 拒否するなら、末尾に空行を空けて2行足す。フォルダを分けたいときだけ、Allowの1行を足す。
- クローラー名の行がすでにあるなら、中身を見直す。名指しの行が先に効く余地がある。
- 負荷の対策は別に考える。共通の名前では、取りに来る数は減らない。
手順1と2：まず開いて、方針を1行で決める
アドレスバーに、自分のサイトのアドレスの後ろへ「/robots.txt」を足して開きます。
たとえば本紙なら、「https://tsuginote-news.com/robots.txt」です。
ここで出る文字が、いまの案内の全部です。
自分で置けない人は、ここまでで十分です。
ブログサービスなどで、robots.txtを自分で書き換えられない場合は、サービスの運営側が対応するのを待つことになります。
会社のサイトなら、管理している人に「共通のAI学習拒否の書き方が出た。方針を決めたい」と、一言伝えてください。
次に、方針を1行にします。
選ぶのは、実は2つだけです。
- 学習には使わせない。ただし、検索や引用で拾われるのは歓迎する。
- どちらも歓迎する（いまのまま）。
どちらが正しいかは、サイトの目的で決まります。
文章そのものが商品なら1つめに、広く引用されたいなら2つめに寄ります。
検索への影響は、出ないはずだと解説する報道があります。Googleは従来、Google-Extendedは検索の掲載や順位に影響しないと説明しており、共通の名前はそれに対応づけられるためです。ただし、今回の件でGoogle自身がそう明言したかは、本紙では確認できていません。
手順3と4：足すのは2行。ただし、名指しの行が先に効く余地がある
サイト全体で学習を拒否するなら、末尾にこの2行を足します。
空行を1つ空けて、グループを分けるのが安全です。
User-Agent: __usage_ai-training
Disallow: /
特定のフォルダだけ許すなら、ドラフトの例のように、Allowの行を足します。
ここで、本紙のrobots.txtを見てみます。
本紙は9つのグループがあります。
そのうち8つは、GPTBot、ClaudeBot、Google-Extendedといったクローラー名の指定で、どれも「Allow: /」から始まります。
GPTBotの手前に「AI crawlers welcome」というコメントが置いてある、AI歓迎の書き方です。
本紙は今日、何も足していません。
仮に本紙が足して拒否したとします。
ドラフトは、具体的な指定を一般的な指定より優先してよい、と書いています。
各社が自分の名前の行を「より具体的」と読めば、名指しの「Allow: /」のほうが先に効くことになります。
Googleは、Google-Extendedを明示して許可しているサイトでは、その許可を残す、と報じられています。
拒否したいなら、名指しの「Allow: /」も見直す。これが、足すときの落とし穴です。
実例と組み合わせ案：press-kitだけ許し、取りに来る数はログで見て決める
これは、本紙がドラフトの記載から組んだ案です。まだ動かしていません。
会社のサイトで、記事は学習に使わせたくないが、広報用の素材ページだけは使ってよいとします。
そのときは、ドラフトの例のとおり、「Disallow: /」と「Allow: /press-kit/」を並べます。
取りに来る数が気になるなら、サーバーやCDNのアクセスログで、ボットの名前を数えます。
多いボットだけを名指しのグループにして止めれば、学習の希望と負荷の対策を、別々に管理できます。
確認ツールが食い違う。Python標準では、ドラフトの例が逆に出た
足す前に、書いた行が正しく読まれるかを確かめたくなります。
本紙は10月31日朝に、Python 3.10.12の標準ライブラリ（urllib.robotparser）で試しました。
試したのは、4つです。
食い違ったのは、AとCです。
Aは、ドラフトの例そのものです。
「Disallow: /」の次に「Allow: /press-kit/」を置くと、ドラフトの読みでは /press-kit/ は許可です。
Python標準は、書かれた順に最初に当たった行を採るので、「Disallow: /」に先に当たって拒否と答えました。
Bのように順を逆にすると、許可と出ます。
ドラフトは、robots.txtの標準（RFC 9309）と同じ「いちばん長く一致した行を優先する」読み方を引き継ぐ、と書いています。
順で結果が変わるツールで確かめると、正しい行を間違いと判定します。
Cは、「*」の行だけで全面拒否にしているサイトの話です。
ドラフトは、「*」は共通の名前に当たらない（＝希望は表明されていない）と書いています。
Python標準は「*」を、どの名前にも当たるものとして読み、拒否と答えました。
「*」で全部断っているから、AI学習も断れている、とは読まれません。
Dは、足しても困らないかの確認です。
本紙の実際のrobots.txtに、ドラフトの例の3行（User-Agent・Disallow・Allow）を足し、10種の名前（Googlebot、GPTBot、ClaudeBotなど）と9本のパスの90通りを、足す前後で比べました。
変わった判定は、0件でした。
ドラフトは、知らない名前のグループは今のパーサーが無視する、と書いています。この点はPython標準でも合っていました。
ただし、確かめたのはPython標準だけです。ほかのパーサーは、試していません。
裏が取れなかったのは、この5点
1. 3社の発表ページ本体。OpenAI、Google Search Central、Bingのブログは、この実行環境からは取得できませんでした。各社の表明は、報道が引用した範囲で書いています。IETFのドラフトは、本文を直接読みました。
2. Anthropicの実装。「実装を始めた」と報じるものと、「会社の発表は見つからない」とするものがあり、本紙では決められません。
3. Googleの開始時期。「2027年」と書く報道と、「2027年初め」と書く報道があります。
4. Microsoftの追加設定。AI回答への利用を分ける設定やページ単位の指定は、報道が伝えるだけで、名前や条件を本紙では確認できていません。手順には入れていません。
5. 実際の挙動。どの会社も、これから読み始めます。足した行が、いつ、どう読まれるかを確かめた人は、まだいません。上のPythonの結果は、確認ツールの癖であって、各社の読み方ではありません。
次に見るのは、OpenAIが書くと言っている実装の詳細と、Googleのクローラー文書の更新、そして2月1日のMicrosoftです。
書かれたら、手順4と、Python標準の食い違いの節を、各社の実際の読み方に合わせて直します。
編集責任者：Tatsuki Morohashi（発行人・運営者情報） ／ 最終更新：2026.10.31
本記事は、編集責任者の指示のもとAI編集部が執筆し、編集責任者が内容を確認しています。掲載の判断と内容の責任は編集責任者が負います。誤りを見つけられた場合はお問い合わせからご指摘ください。訂正の手順は訂正ポリシーに定めています。
参考にした主な出典
・IETF Datatracker「Machine-Readable Training Preference Signal」（datatracker.ietf.org、draft-kelley-aipref-training-preference-signal-00・10月30日付。10月31日閲覧。本文を直接読んだ一次資料）——名前、書き方、「*」の扱い、クロールとの関係、優先順位
・Unite.AI「OpenAI to Honor Shared Robots.txt Signal for AI Training Preferences」（unite.ai、10月30日付）——OpenAIの発表内容を伝える報道。開始時期、既存設定の扱い
・MonsterMegs「Google Backs a Shared AI Training Control for Every Website」（monstermegs.com、10月30日付）——Google Search Centralブログの内容を伝える報道。Google-Extendedとの関係
・CellCog「OpenAI, Google, Microsoft Back One AI Training Opt-Out」（cellcog.ai、10月30日付）——3社の発表を読んだと書く報道。Microsoftの開始日
・AI Weekly「OpenAI, Google, Microsoft, Anthropic Back One AI Opt-Out Token」（aiweekly.co、10月30日付。The Vergeの報道を伝える）——4社の表明と時期
ツギノテはAI編集部が毎日発行するメディアです。同じ仕組みを作りたい方は 構築の相談 へ。