AI学習の拒否、robots.txtの1行で各社に　OpenAIやGoogleが対応へ

OpenAIは10月30日、サイトの運営者が「自分のページを生成AIの学習に使わないでほしい」という意思を、複数のAI企業にまとめて伝えられる共通の印に対応すると発表した。印は、検索エンジンなどのクローラーに読ませる指示のファイル、robots.txtの中に書く。これまでは会社ごとにクローラーの名前を調べ、1社ずつ決まりを書く必要があった。自分の製品のサイトやブログを持つ個人や小さなチームにとっては、書く行が減る話だ。

学習の拒否を1つの名前で書く

印の中身は、AnthropicのKevin Kelley氏がIETF（インターネットの標準を決める団体）のAI Preferences作業部会に10月30日付で出した草案にある。robots.txtで普段クローラーの名前を書く「User-Agent:」の行に、クローラーではなく用途を表す名前「__usage_ai-training」を書く。その下に「Disallow: /」と書けばサイト全体で学習を断る意思になり、「Allow:」で一部の場所だけ学習を認めることもできる。草案の例では、全体を断りつつ報道向けの資料の場所だけを許している。

新しい書き方は足さず、今のrobots.txtの決まりのまま使えるのが草案の売りだ。対応していないクローラーは、知らない名前の段落として読み飛ばす。全部のクローラー向けの「User-Agent: *」の段落は、この印として扱ってはいけないと草案は定めている。印の段落が無ければ、意思は示されていないと見なす。ここでいう学習は、生成AIのモデルの中身を変えるために使うことを指し、分類や順位付けだけのモデルは含まない。

各社の対応はこれから

OpenAIは、数か月のうちに実装し、その時に詳しく知らせるとしている。今あるGPTBotなどのクローラーごとの指定も、そのまま効く。Googleも同じ日に、2027年に対応する予定だと書いた。サイトがこの印で学習を断り、Googleの学習用の指定「Google-Extended」を書いていない時は、Google-Extendedを断ったのと同じに扱うという。Search Engine Journalによると、Microsoftも対応を表明した。一方で草案はまだ個人の提案の段階で、IETFの正式な標準ではない。共通の印とOpenAIのGPTBotの指定が食い違った時にどちらが勝つかは、OpenAIの発表にも書かれていない。

書く場所と、今の各社の指定

robots.txtは、サイトの一番上の階層に置く「/robots.txt」のファイルだ。自分で作ったサービスのサイトなら、ここに書き足せばよい。作り始めたばかりでファイルが無いサイトも多いが、その時は新しく置けばよい。静的なサイトの生成の道具や、サイトを置くサービスによっては、設定の画面から書き足す形のものもある。

今までは、学習を断るにはクローラーを1つずつ名指しする必要があった。Search Engine Journalが10月30日に確かめたところ、Anthropicのクローラーの案内に載る指定は、ClaudeBot、Claude-User、Claude-SearchBotの3つだけだった。OpenAIのGPTBot、GoogleのGoogle-Extendedも、それぞれ別の名前で書く。新しい会社が増えるたびに行を足すのは、小さなサイトほど手が回らない。共通の名前が効くようになれば、この追いかけっこが減る。

Googleの場合は、学習だけでなく、Geminiのアプリが答えの根拠としてサイトを引く使い方にも、この指定が関わる。Googleは、Google-Extendedをはっきり許したサイトは、Geminiのアプリの答えに出てクリックを受けられると書いている。学習を断るか、答えに出ることを取るかは、サイトごとの判断になる。Search Engine Journalによると、Microsoftは今あるNoArchiveとNoCacheの印を使うサイトに、2027年3月1日までに新しい指定へ移るよう求めているという。

編集部の見方

自分のサービスのサイトで学習を断りたい人は、今ある会社ごとの指定を消さずに、この段落を1つ足しておけばよい。各社が実装すれば効き始め、対応しない会社には何も起きない。ただし、どの会社がいつから守るかはまだばらばらで、守るかどうかも各社の任意だ。書いた後も、各社の実装の知らせを確かめる手間は残る。反対に、学習に使われてもよいページがあるなら、そこだけ「Allow:」で開けておける。