О роботе MissWrenchBot

Если MissWrenchBot появился в ваших журналах доступа, значит, кто-то воспользовался одним из инструментов этого сайта, чтобы проверить ваш адрес. Робот не бродит по интернету сам по себе и не строит никакого индекса.

Что он запрашивает

Обычная проверка загружает одну страницу, а иногда и файлы, на которые она ссылается, например таблицы стилей, скрипты и изображения, чтобы измерить размер, заголовки или кэширование. Поиск битых ссылок переходит по ссылкам в пределах одного сайта. Он не торопится и останавливается на фиксированном числе страниц.

Как он представляется

Запросы содержат такой user agent:

Mozilla/5.0 (compatible; MissWrenchBot/1.0; +https://misswrench.com/crawler/)

Как его не пускать

Поиск ссылок соблюдает robots.txt. Чтобы исключить его, добавьте:

User-agent: MissWrenchBot
Disallow: /

Проверки одной страницы выполняются по просьбе человека, который смотрит на ваш сайт, и ведут себя как посещение из браузера.