AIクローラーのアクセスチェック
今では20以上のクローラーがAI製品のためにウェブページを集めています。このチェックは、あなたのrobots.txtをそれぞれに当てはめて誰が入れるかを示し、招く相手を変えたいときはルールを書き出します。
robots.txtに入れる行を作る
締め出したいクローラーの種類にチェックを入れてください。下のルールは変更のたびに書き換わります。robots.txtの末尾に追加してください。ここで入力したものは当方のサーバーに送られません。
これらの行はGooglebotとBingbotには触れないので、検索結果での順位は変わりません。WordPressでファイルにアクセスできない場合は、YoastやRank MathなどのSEOプラグインにrobots.txtの編集機能があります。
3つの仕事、3種類のクローラー
「AIボット」があなたのページを要求するとき、その目的は3つの異なる仕事のどれかで、ほとんどのAI企業は仕事ごとに別のクローラーを動かしています。区別しておく価値があります。あなたが負うコストも、見返りも、それぞれ違うからです。
| 仕事 | ページがどうなるか | 例 |
|---|---|---|
| 学習 | テキストが将来のモデルを作るためのデータに加えられます。見返りのリンクも訪問もありません。 | GPTBot、ClaudeBot、CCBot、Bytespider、Meta-ExternalAgent、Amazonbot |
| AI検索 | ページがインデックスに入ります。ユーザーが質問すると、アシスタントがそれを引用し、出典としてリンクできます。 | OAI-SearchBot、Claude-SearchBot、PerplexityBot、DuckAssistBot |
| オンデマンド | 誰かがアシスタントにあなたのアドレスを貼り付けたか、調べものを頼んだため、その1ページをその場で取得します。 | ChatGPT-User、Claude-User、Perplexity-User、MistralAI-User |
学習グループのうち2つはクローラーではありません。Google-ExtendedとApplebot-Extendedは何も取得しません。これはGooglebotとApplebotがrobots.txtで参照するラベルで、検索用にすでに取得しているページをGeminiやApple Intelligenceにも使ってよいかを確かめるためのものです。これを拒否しても、Google検索やSiriの結果は何も変わりません。
クローラーが自分のルールを見つける方法
このチェックは、行儀のよいクローラーと同じようにRobots Exclusion Protocol（RFC 9309）に従います。
- 大文字小文字を区別せず、
User-agent行がクローラーのトークンと完全に一致するグループを探します。ApplebotはApplebot-Extendedを含みません。 - そのクローラーを名指しするグループがなければ、
User-agent: *のグループが適用されます。それもなければ、すべて許可です。 - グループ内では、一致するパスのうち最も長いものが優先されます。
AllowとDisallowが同じ長さならAllowが優先です。*は任意の文字列に一致し、$は末尾を示します。
次に、各クローラーをトップページと一般的なページのパスで試します。
- 許可
- どちらも読めます。
/wp-admin/や/cart/のように閉じられたセクションが残っていることもあり、それは一覧に出します。 - 一部
- 2つのうち1つが閉じられています。
- ブロック
- どちらも閉じられています。実際には
Disallow: /のことです。
ファイル自体の状態も影響します。404はルールなしを意味するので、どのクローラーもすべて読めます。/robots.txtでHTMLページが返される場合は無視され、結果は同じです。危険なのは5xxエラーです。Googlebotを含むクローラーは、ファイルが戻るまで「立ち入り禁止」として扱います。
ブロックを書く
結果の下にある作成ツールは、クローラーを仕事ごとにまとめています。グループにチェックを入れるか、開いて名前を1つずつ選ぶと、行を書き出します。チェックの後は、チェックボックスが今のサイトの状態で始まります。学習は断り、検索とオンデマンドの訪問は残すことを選ぶサイトが多くあります。
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /複数のUser-agent行で1組のルールを共有できます。ブロックは既存のファイルの末尾に追加し、今あるUser-agent: *グループはそのままにします。ファイルはプレーンテキストで、各ホストのルートに置く必要があります。つまりwww.example.comとshop.example.comにはそれぞれ専用のものが要ります。
チェックは補助的なシグナルも2つ報告します。1つはトップページのrobotsメタタグとX-Robots-Tagヘッダー（非標準のnoai値を含む）です。もう1つは/llms.txtファイルがあるかどうかです。このファイルは、言語モデル向けにサイトをMarkdownで要約するという提案中の形式です。何かを許可することも、禁止することもありません。
robots.txtにできないこと
robots.txtは公開されたお願いです。OpenAI、Anthropic、Google、Apple、Perplexity、Common Crawlは、自社のクローラーがそれに従うと表明しています。しかし技術的にクローラーを従わせる仕組みは何もなく、ブラウザーのユーザーエージェントを装うスクレイパーはそもそも読みません。オンデマンドの取得は人が始めるものなので参照しない場合がある、としている企業もあります。
学習用クローラーをブロックすると、今後の収集は止まります。すでに集められたページは削除されず、他のサイトが転載したあなたの文章のコピーにも効果はありません。
拒否を強制するには、クローラーのユーザーエージェントや公開されているIPアドレス範囲に403を返すルールをサーバーかCDNに設定する必要があります。Cloudflare、Fastly、そしてほとんどのWAFには、AIクローラー向けのマネージドルールがあります。
よくある質問
GPTBotをブロックするとChatGPTからサイトが消えますか？
いいえ。GPTBotは学習データを集めるだけです。ChatGPT検索の引用はOAI-SearchBotから来ていて、ユーザーがChatGPTに開くよう頼んだページはChatGPT-Userが取得します。robots.txtではそれぞれに専用の行があります。
AIクローラーをブロックするとGoogleの順位は下がりますか？
GooglebotとBingbotに手を付けない限り、下がりません。Google-Extendedは別のトークンで、Geminiでの利用だけを制御します。なお、Google検索のAIによる概要は、通常のGooglebotのインデックスから作られている点に注意してください。
robots.txtですべてのAIボットをブロックするには？
トークンをそれぞれ1行ずつUser-agent行に書き、その後にDisallow: /を1つ置きます。「すべてのAI」を表すワイルドカードはありません。このページの作成ツールで3つのグループすべてにチェックを入れれば全リストが得られます。新しいクローラーが次々に現れるので、ときどき見直してください。
llms.txtとは何ですか？
2024年に提案されたファイルで、/llms.txtに置き、サイトの概要と主要ページへのリンクをMarkdownで記述します。言語モデルが役に立つ内容を見つけやすくするためのものです。読むツールはまだ少なく、アクセス制御でもありません。
AI企業は本当にrobots.txtを守っていますか？
大手はクローラーのトークンを公開して従うと表明しており、サーバーのログもおおむねそれを裏付けています。小規模なスクレイパーはファイルを無視したり、偽のユーザーエージェントを使ったりすることがよくあります。確実を期すなら、ファイアウォールでブロックしてください。
一度も書いていないクローラーが許可と表示されるのはなぜですか？
専用のグループがないクローラーはUser-agent: *に従います。そのグループがサイト全体を拒否していなければ、そのクローラーは許可されます。robots.txtでは、何も書かないことは「はい」を意味します。