Проверка доступа ИИ-ботов

Три задачи, три набора роботов

Когда «ИИ-бот» запрашивает вашу страницу, он выполняет одну из трех разных задач, и у большинства ИИ-компаний для каждой свой робот. Их стоит различать: чего каждый вам стоит и что вы получаете взамен, не одно и то же.

Два имени в группе обучения вообще не роботы. Google-Extended и Applebot-Extended ничего не запрашивают. Это метки, которые Googlebot и Applebot ищут в вашем robots.txt, чтобы узнать, можно ли страницы, которые они уже загружают для поиска, использовать еще и для Gemini или Apple Intelligence. Их запрет ничего не меняет в выдаче Google Search или Siri.

Как робот находит свои правила

Проверка следует Robots Exclusion Protocol (RFC 9309) так же, как воспитанный робот:

1. Ищет группу, где строка User-agent в точности совпадает с токеном робота, без учета регистра. Applebot не покрывает Applebot-Extended.
2. Если ни одна группа не называет робота, действует группа User-agent: *. Если ее нет, разрешено все.
3. Внутри группы побеждает самый длинный совпавший путь. Если Allow и Disallow одной длины, побеждает Allow. * соответствует любой последовательности символов, а $ привязывает конец.

Затем каждый робот проверяется на главной странице и на пути обычной страницы:

Разрешено

Читать можно и то, и другое. Отдельные разделы все же могут быть закрыты, например /wp-admin/ или /cart/, и они перечислены.

Частично

Одно из двух закрыто.

Заблокировано

Закрыто и то, и другое, на практике это Disallow: /.

Важно и состояние самого файла. 404 означает отсутствие правил, то есть любой робот может читать все. HTML-страница, отданная по адресу /robots.txt, игнорируется с тем же результатом. Опасна ошибка 5xx. Роботы, включая Googlebot, считают ее запретом «не входить», пока файл не вернется.

Как написать блок

Конструктор под результатами группирует роботов по задачам. Отметьте группу или раскройте ее и выберите имена по одному, и он напишет строки. После проверки флажки стоят в том состоянии, в котором ваш сайт сейчас. Многие сайты отказывают обучению и оставляют поиск и визиты по запросу:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Несколько строк User-agent могут делить один набор правил. Добавьте блок в конец существующего файла, а текущую группу User-agent: * оставьте как есть. Файл должен быть обычным текстом в корне каждого хоста, поэтому www.example.com и shop.example.com нужен каждому свой.

Проверка сообщает и о двух побочных сигналах. Первый: meta-теги robots и заголовки X-Robots-Tag на главной странице (включая нестандартное значение noai). Второй: есть ли файл /llms.txt. Это предложенное краткое описание сайта в Markdown для языковых моделей. Он ничего не разрешает и ничего не запрещает.

Чего robots.txt не умеет

robots.txt это опубликованная просьба. OpenAI, Anthropic, Google, Apple, Perplexity и Common Crawl заявляют, что их роботы ее соблюдают. Технически ничто робота к этому не принуждает, а парсеры, прячущиеся за user agent браузера, файл не читают. Некоторые компании также говорят, что загрузки по запросу, раз их запускает человек, могут к нему не обращаться.

Чтобы отказ действительно работал, нужно правило на сервере или в CDN, которое отвечает 403 на user agent робота или на его опубликованные диапазоны IP. Cloudflare, Fastly и большинство файрволов веб-приложений предлагают готовое правило для ИИ-роботов.