À propos de MissWrenchBot
Si MissWrenchBot est apparu dans vos journaux d’accès, quelqu’un a utilisé l’un des outils de ce site pour vérifier votre adresse. Le robot ne se promène pas seul sur le web et ne construit aucun index.
Ce qu’il demande
Une vérification typique charge une page et parfois les fichiers que cette page appelle, comme les feuilles de style, les scripts et les images, pour mesurer la taille, les en-têtes ou la mise en cache. Le détecteur de liens morts suit les liens à l’intérieur d’un seul site. Il prend son temps et s’arrête à un nombre fixe de pages.
Comment il s’identifie
Les requêtes portent ce user agent :
Mozilla/5.0 (compatible; MissWrenchBot/1.0; +https://misswrench.com/crawler/)
Lui barrer la route
Le détecteur de liens respecte robots.txt. Pour l’exclure, ajoutez :
User-agent: MissWrenchBot
Disallow: /Les vérifications d’une seule page sont faites au nom d’une personne qui regarde votre site et se comportent comme une visite de navigateur.