Поиск битых ссылок

Ссылки ломаются, даже если их никто не трогает

Добавляя ссылку, вы полагаетесь на чужой сервер или на файл, который можете переименовать в следующем году. Ваша страница хранит только адрес. Цель переезжает, домен не продлевают, картинку удаляют из медиатеки, а ваша страница в редакторе выглядит точно так же. Узнает об этом только тот, кто нажмет.

Этот медленный распад называют link rot, «гниением ссылок», и он не прекращается никогда. Исследование Pew Research Center 2024 года показало, что 38% веб-страниц, существовавших в 2013 году, через десять лет уже были недоступны. Чтобы узнать, как обстоят дела на вашем сайте, кто-то должен попробовать каждую ссылку. Для человека это мучение, для программы пустяк.

Как идет обход

1. Мы загружаем начальную страницу и читаем robots.txt. Запрещенные в нем пути не трогаем.
2. Собираются все <a href> и <img src>, включая картинки с отложенной загрузкой в data-src. Ссылки mailto:, tel: и javascript: пропускаются, а #fragment отбрасывается.
3. Ссылки на страницы того же хоста попадают в очередь и читаются по порядку. example.com и www.example.com считаются одним сайтом. Другие поддомены нет.
4. Все остальное (другие сайты, PDF, картинки, загрузки) только проверяется. Мы начинаем с запроса HEAD, который просит статус без тела, и переходим к обычному GET, если сервер отказывает в HEAD.
5. Редиректы проходятся вручную, до пяти переходов. Шестой переход или адрес, перенаправляющий сам на себя, считается петлей.

Обход останавливается после 100 прочитанных страниц или 600 запросов. Он открывает не больше четырех соединений к хосту одновременно, ждет ответа шесть секунд и проверяет каждый адрес один раз, сколько бы на него ни ссылались. Когда путь встречается больше чем с пятью разными строками запроса, лишние варианты игнорируются. Иначе календарь или страница фильтров съели бы весь бюджет.

Как читать четыре списка

Битые ссылки

Цель ответила ошибкой или не ответила. 404 и 410 значат, что страницы больше нет. От 500 до 504 указывают на сбой сервера и могут быть временными. «Доменное имя не найдено» часто означает, что закрылся весь сайт. «Недействительный SSL-сертификат» значит, что браузеры показывают предупреждение перед страницей.

Битые картинки

Причины те же, но посетитель видит пустую рамку или значок сломанной картинки.

Внутренние редиректы

Ссылки на ваши собственные страницы, которые работают только через редирект. Ничего не сломано, но каждый клик стоит лишнего круга, а однажды кто-нибудь может убрать редирект.

Проверить вручную

Цель ответила 401, 403, 429 или 999, то есть отказывает роботам или требует входа. Так делают LinkedIn, Facebook и многие сайты за защитой от ботов. Откройте ссылку сами, чтобы разобраться.

В каждой строке до пяти страниц, где встречается адрес, а самые частые сбои идут первыми. Битая ссылка в подвале видна на каждой странице, а исправляется в одном месте.

Как исправить найденное

• Ваша страница переехала. Исправьте ссылку, затем добавьте постоянный редирект для тех, кто приходит извне. Apache: Redirect 301 /old-page/ /new-page/. nginx: location = /old-page/ { return 301 /new-page/; }.
• Другой сайт перенес свою страницу. Поищите на нем новый адрес. Если содержимого больше нет, дайте ссылку на копию в Wayback Machine (web.archive.org) или уберите ссылку.
• Пропавшая картинка. Загрузите ее снова под тем же именем или отредактируйте страницу.
• Внутренний редирект. Замените адрес в ссылке на конечный, показанный в отчете.