Détecteur de liens brisés

Les liens se cassent sans que personne y touche

Quand vous ajoutez un lien, vous comptez sur le serveur de quelqu’un d’autre, ou sur un fichier que vous renommerez peut-être l’an prochain. Votre page ne garde que l’adresse. La cible déménage, un domaine n’est pas renouvelé, une image est supprimée de la médiathèque et votre page a toujours exactement la même allure dans votre éditeur. La seule personne qui s’en aperçoit est celle qui clique.

Cette lente dégradation s’appelle la pourriture des liens (link rot) et elle ne s’arrête jamais. Une étude du Pew Research Center de 2024 a trouvé que 38 % des pages web qui existaient en 2013 n’étaient plus accessibles dix ans plus tard. Pour savoir où en est votre site, quelqu’un doit essayer chaque lien. C’est un travail pénible pour une personne et facile pour un programme.

Comment se déroule l’exploration

1. Nous récupérons la page de départ et lisons robots.txt. Les chemins qu’il interdit sont laissés de côté.
2. Chaque <a href> et chaque <img src> est collecté, y compris les images à chargement différé dans data-src. Les liens mailto:, tel: et javascript: sont ignorés et le #fragment est supprimé.
3. Les liens vers des pages du même hôte vont dans la file pour être lus à tour de rôle. example.com et www.example.com comptent comme un seul site. Les autres sous-domaines, non.
4. Tout le reste (autres sites, PDF, images, téléchargements) est seulement testé. Nous commençons par une requête HEAD, qui demande le statut sans le corps, puis nous retombons sur un GET normal si le serveur refuse HEAD.
5. Les redirections sont suivies à la main, jusqu’à cinq sauts. Un sixième saut, ou une adresse qui se redirige vers elle-même, est signalé comme une boucle.

L’exploration s’arrête après 100 pages lues ou 600 requêtes. Elle ouvre au plus quatre connexions à la fois vers un hôte, attend six secondes une réponse et teste chaque adresse une seule fois, peu importe combien de fois elle est liée. Quand un chemin apparaît avec plus de cinq chaînes de requête différentes, les variantes en trop sont ignorées. Sinon, un calendrier ou une page de filtres mangerait tout le budget.

Lire les quatre listes

Liens brisés

La cible a répondu par une erreur, ou n’a pas répondu. 404 et 410 signifient que la page a disparu. 500 à 504 indiquent un serveur défaillant et peuvent être temporaires. « Nom de domaine introuvable » veut souvent dire que tout le site a fermé. « Certificat SSL invalide » veut dire que les navigateurs affichent un avertissement avant la page.

Images brisées

Mêmes causes, mais ce que le visiteur voit est un cadre vide ou une icône d’image cassée.

Redirections internes

Des liens vers vos propres pages qui ne fonctionnent que par une redirection. Rien n’est cassé, mais chaque clic coûte un aller-retour de plus et quelqu’un pourrait un jour retirer la redirection.

À vérifier à la main

La cible a répondu 401, 403, 429 ou 999, donc elle refuse les robots ou demande une connexion. LinkedIn, Facebook et beaucoup de sites derrière une protection anti-robots font cela. Vous devrez ouvrir le lien vous-même pour trancher.

Chaque ligne liste jusqu’à cinq pages où l’adresse apparaît et les échecs les plus répétés viennent en premier. Un lien mort dans un pied de page apparaît sur chaque page et vous le corrigez à un seul endroit.

Réparer ce que l’exploration trouve

• Votre propre page a déménagé. Corrigez le lien, puis ajoutez une redirection permanente pour les gens qui arrivent d’ailleurs. Apache : Redirect 301 /old-page/ /new-page/. nginx : location = /old-page/ { return 301 /new-page/; }.
• Un autre site a déplacé sa page. Cherchez la nouvelle adresse sur ce site. Si le contenu a disparu, pointez vers une copie sur la Wayback Machine (web.archive.org) ou retirez le lien.
• Image manquante. Téléversez-la de nouveau sous le même nom, ou modifiez la page.
• Redirection interne. Remplacez l’adresse du lien par l’adresse finale indiquée dans le rapport.