Глазами робота

У каждой страницы две копии

Первая копия: HTML-документ, который уходит с вашего сервера. Вторая: то, что браузер строит из него, загрузив таблицы стилей, выполнив скрипты и получив всё, что эти скрипты запрашивают. Люди видят только вторую копию.

Боты в основном работают с первой. Googlebot действительно отрисовывает страницы в Chrome без интерфейса, но на отдельном, более позднем этапе, который может запаздывать и обрываться по тайм-ауту. Bingbot отрисовывает меньше. Роботы, которые собирают данные для ИИ-ассистентов, и сборщики превью в мессенджерах и соцсетях, как правило, вообще не выполняют JavaScript. Если ваш текст есть только во второй копии, значительная часть вашей машинной аудитории получает пустую страницу.

Эта проверка запрашивает первую копию и на этом останавливается. Ничего не выполняется, никакие стили не применяются.

Как читать текстовый вид

Мы проходим тело страницы в порядке исходного кода и выводим его как текст. Скрипты, стили, шаблоны и встроенные SVG-рисунки пропускаются. Остальное помечено так:

#, ##, ###

Заголовок и его уровень. Попробуйте прочитать только эти строки. Они должны работать как оглавление страницы.

Подчёркнутые слова

Ссылка. Наведите на неё курсор, чтобы увидеть адрес, куда она ведёт.

[Image: …]

Текст alt изображения. Изображение без атрибута alt показано как отсутствующее, с именем файла. Кнопки и поля форм так же выводятся в скобках.

Текст, помеченный как скрытый

Слова, которые есть в HTML, но имеют атрибут hidden или встроенный стиль вроде display:none, visibility:hidden, font-size:0 или большой отрицательный text-indent.

Текст, помеченный noscript

Содержимое внутри <noscript>, которое получают только боты и посетители без JavaScript.

Под текстом приведены цифры: размер HTML, число видимых слов, доля текста в HTML, скрипты, ссылки и изображения. Доля текста от 10 до 30% типична для страницы, сделанной вручную или на CMS. При 1 или 2% документ состоит в основном из кода.

Что вызывает каждую находку

Последний блок применяет ваш robots.txt к этому адресу для десяти роботов: Googlebot, Bingbot, Google-Extended, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot и Applebot-Extended. Блокировка Googlebot считается ошибкой. Блокировка ИИ-робота просто отмечается: это ваш законный выбор. Проверка доступа ИИ-ботов охватывает более длинный список для всего сайта.

Как поместить текст в первую копию

Если проверка нашла пустой контейнер, страница является клиентским приложением. Сервер отдаёт оболочку, а браузер её заполняет. Вот способы исправить это, от самого основательного к наименее:

1. Рендеринг на сервере. Next.js, Nuxt, SvelteKit, Remix и Angular умеют выдавать полный HTML на каждый запрос и потом подключать к нему скрипты. Обычно это вопрос настройки, а не переписывания.
2. Генерация статических страниц при сборке. Для редко меняющегося содержимого такие инструменты, как Astro, Gatsby или статический экспорт упомянутых фреймворков, создают полный HTML-файл для каждой страницы.
3. Пререндеринг для ботов. Сервис пререндеринга хранит отрисованный снимок и отдаёт его роботам. Это работает, но теперь вам нужно следить за двумя версиями.

В классической CMS вроде WordPress или Drupal текст уже есть в HTML, и находки мельче: цена, показанная только на картинке, меню, ссылки которого являются обработчиками onclick, или номер телефона на баннере с пустым alt.