Cloudflare、認証済みボットを見張り続ける　robots.txtと429で信頼度

Cloudflareは日本時間10月16日夜、同社が身元を確かめた「Verified bots（認証済みボット）」が、その後もサイトの意向を守っているかを評価し続ける仕組みを公式ブログで公開した。robots.txtに従っているか、HTTP 429（リクエストが多すぎる）を受けて速度を落とすかを見て、「信頼の帯（trust band）」として示す。今は社内での評価に使っている段階で、いずれ全顧客が基準を選べるようにする計画だ。自分のサイトを持つ人にも、エージェントやクローラーを動かす人にも関わる話だ。

名乗るだけでは信頼しない

Cloudflareのブログは運転免許にたとえている。免許は本人であることと試験に受かったことを示すが、この先も安全に運転するかまでは保証しない。ボットも同じで、身元が分かっても、サイトの意向を無視したり、サーバーに負荷をかけすぎたりすることはある。悪意ではなく、設定の誤りやバグのことも多いという。

公式ドキュメントによると、認証済みボットになる条件は二つある。一つは、正直に名乗ること。暗号の署名を使う「Web Bot Auth」、公開したIPアドレスの一覧と変わらないユーザーエージェント、逆引きDNSのどれかで身元を示す。もう一つは、乱暴なふるまいをしないことで、robots.txtや巡回の指示に従い、常識的な速さでアクセスすることが求められる。

これまでも、条件を破ればリストから外されてきた。ブログは、2025年に米Perplexityのボットを外した例を挙げている。収集を断ったサイトに入ろうとし、ブロックされると回避しようとしたためだという。今回の仕組みは、こうした判断を一度きりでなく、毎日のふるまいの積み重ねで行うためのものだ。

見るのはrobots.txtと429

最初に見るのは二つの点だ。

• サイトの指示を守るか。robots.txtはサイトの意向を伝える基本の手段で、ボットはRFC 9309に沿って読み、従うことが求められる。たまたま1回外れたことではなく、何度も意向を無視するパターンを見る。
• 直接の合図に応えるか。サイトが429を返したあと、ボットが速度を落とすか、止まるか、同じ速さで送り続けるかを見る。落としたり止まったりすれば信頼は上がり、無視を繰り返せば下がる。

ブログは、robots.txtはボットがしてはいけないことの最低限を書くものであり、書いていないことが許されているわけではない、と念を押している。今後は、各ボットの評価をCloudflare Radarで公開し、測る項目も増やす予定だ。

サイトを持つ人にとっての意味

当面、利用者が設定することはない。Cloudflareは今の段階で評価の履歴をためて、見方を磨くとしている。その後、全顧客が信頼の基準値を選び、認証済みボットの通信をどう扱うかを決められるようにする計画だ。時期は書かれていない。

今できるのは、意向をはっきり出しておくことだ。Cloudflareの「Bot Preference Sync」は、管理されたrobots.txtを作り、元のファイルの前に足す。ただドキュメントは、robots.txtに従うかはボット次第で、技術的に止めるものではないと書いている。止めたい相手には、AI Crawl ControlやBot Managementでブロックする。サーバーが混んだときに429を返す作りにしておけば、それ自体がボットの評価の材料になる。

エージェントを動かす側にとっての意味

Claude CodeやCodexで情報を集めるスクリプトやエージェントを作った人にとっては、守るべき作法が点数になる。robots.txtを毎回読む、429が来たら待つ、待つ時間の指定があれば従う。ブログは、待つ時間の指示が付くこともあるとだけ書いている。編集部の説明を足すと、HTTPでは429と一緒にRetry-Afterヘッダーで待つ秒数が返ることがある。この三つを最初から組み込んでおきたい。

自分のボットを認証済みにしたい場合は、ダッシュボードの申請フォーム（Bot Submission Form）から出す。Web Bot Authでは、Ed25519の鍵を作り、公開鍵の一覧を自分のドメインの決まった場所（.well-knownの下）に置き、リクエストに署名をつける。ドキュメントは、利用者ごとに操作が変わるエージェントのサービスを「Intermediary（仲介）」と呼び、一つの運用者だけが動かす「Direct」と分けている。Cloudflareは、運用者の身元を、仲介を通ってもForwardedヘッダーで伝える方法を試しているという。

編集部の見方

エージェントがWebを読む量が増えるほど、サイト側は「誰か」だけでなく「どうふるまうか」で相手を選ぶようになる。今回の仕組みはその流れをはっきり形にした。個人の小さなボットでも、robots.txtと429への応え方は最初に作り込んでおくのが安い。評価の数字がRadarで公開されれば、エージェントのサービスを選ぶ時の材料にもなるはずだ。公開の時期と、基準値をどう選ばせるかは今後の発表を待ちたい。