#robots.txt

• 

  AI学習の拒否、robots.txtの1行で各社に　OpenAIやGoogleが対応へ

  2026年11月2日

  • #AI学習
  • #Anthropic
  • #Google
• 

  Cloudflare

  Cloudflare、認証済みボットを見張り続ける　robots.txtと429で信頼度

  2026年10月18日

  • #Cloudflare
  • #robots.txt
  • #Web Bot Auth