Tote Links finden

Geben Sie uns eine Startadresse. Unser Crawler geht die Website Seite für Seite durch, probiert jeden Link und jedes Bild, auf das er stößt, und bringt die fehlerhaften zurück, zusammen mit den Seiten, auf denen sie stehen.

The crawl stops at 100 pages or 600 requests, whichever comes first. A small site is done in seconds, a large one in a few minutes. Keep this tab open while it runs.

Oder probieren Sie wikipedia.org

Links gehen kaputt, ohne dass jemand sie anfasst

Wenn Sie einen Link setzen, verlassen Sie sich auf den Server von jemand anderem oder auf eine Datei, die Sie nächstes Jahr vielleicht umbenennen. Ihre Seite speichert nur die Adresse. Das Ziel zieht um, eine Domain wird nicht verlängert, ein Bild wird aus der Mediathek gelöscht, und Ihre Seite sieht in Ihrem Editor immer noch genau gleich aus. Der Einzige, der es merkt, ist der, der klickt.

Dieser langsame Verfall heißt Link Rot, und er hört nie auf. Eine Studie des Pew Research Center von 2024 ergab, dass 38 % der Webseiten, die es 2013 gab, zehn Jahre später nicht mehr erreichbar waren. Um zu wissen, wo Ihre Website steht, muss jemand jeden Link ausprobieren. Für einen Menschen ist das eine elende Arbeit, für ein Programm eine leichte.

Wie der Crawl abläuft

  1. Wir rufen die Startseite ab und lesen die robots.txt. Pfade, die sie sperrt, bleiben unberührt.
  2. Jedes <a href> und <img src> wird gesammelt, einschließlich per Lazy Loading geladener Bilder in data-src. Links mit mailto:, tel: und javascript: werden übersprungen, und das #fragment wird entfernt.
  3. Links zu Seiten auf demselben Host kommen in die Warteschlange und werden der Reihe nach gelesen. example.com und www.example.com zählen als eine Website. Andere Subdomains nicht.
  4. Alles andere (andere Websites, PDFs, Bilder, Downloads) wird nur getestet. Wir beginnen mit einer HEAD-Anfrage, die den Status ohne Inhalt abfragt, und greifen auf ein normales GET zurück, wenn der Server HEAD verweigert.
  5. Weiterleitungen werden von Hand verfolgt, bis zu fünf Sprünge. Ein sechster Sprung oder eine Adresse, die auf sich selbst weiterleitet, wird als Schleife gemeldet.

Der Crawl stoppt nach 100 gelesenen Seiten oder 600 Anfragen. Er öffnet höchstens vier Verbindungen gleichzeitig zu einem Host, wartet sechs Sekunden auf eine Antwort und testet jede Adresse einmal, egal wie oft sie verlinkt ist. Taucht ein Pfad mit mehr als fünf verschiedenen Query-Strings auf, werden die weiteren Varianten ignoriert. Sonst würde ein Kalender oder eine Filterseite das ganze Budget aufbrauchen.

Die vier Listen lesen

Defekte Links
Das Ziel hat mit einem Fehler oder gar nicht geantwortet. 404 und 410 heißen, die Seite ist weg. 500 bis 504 deuten auf einen fehlerhaften Server hin und können vorübergehend sein. „Domainname nicht gefunden“ heißt oft, dass die ganze Website geschlossen ist. „Ungültiges SSL-Zertifikat“ heißt, dass Browser vor der Seite eine Warnung zeigen.
Defekte Bilder
Dieselben Ursachen, aber der Besucher sieht einen leeren Rahmen oder ein Symbol für ein kaputtes Bild.
Interne Weiterleitungen
Links zu Ihren eigenen Seiten, die nur über eine Weiterleitung funktionieren. Nichts ist kaputt, aber jeder Klick kostet einen zusätzlichen Umweg, und eines Tages entfernt vielleicht jemand die Weiterleitung.
Von Hand prüfen
Das Ziel hat mit 401, 403, 429 oder 999 geantwortet, es weist also Robots ab oder verlangt eine Anmeldung. LinkedIn, Facebook und viele Websites hinter einem Bot-Schutz machen das. Sie müssen den Link selbst öffnen, um es zu klären.

Jede Zeile nennt bis zu fünf Seiten, auf denen die Adresse vorkommt, und die am häufigsten wiederholten Fehler stehen oben. Ein toter Link im Footer erscheint auf jeder Seite, und Sie beheben ihn an einer Stelle.

Reparieren, was der Crawl findet

  • Ihre eigene Seite ist umgezogen. Korrigieren Sie den Link und richten Sie dann eine dauerhafte Weiterleitung für Besucher ein, die von anderswo kommen. Apache: Redirect 301 /old-page/ /new-page/. nginx: location = /old-page/ { return 301 /new-page/; }.
  • Eine andere Website hat ihre Seite verschoben. Suchen Sie auf dieser Website nach der neuen Adresse. Ist der Inhalt weg, verlinken Sie eine Kopie in der Wayback Machine (web.archive.org) oder entfernen Sie den Link.
  • Fehlendes Bild. Laden Sie es unter demselben Namen erneut hoch oder bearbeiten Sie die Seite.
  • Interne Weiterleitung. Ersetzen Sie die Adresse im Link durch die endgültige, die im Bericht steht.

Wir sehen nur Links, die im HTML stehen, das der Server schickt. Menüs, die JavaScript aufbaut, CSS-Hintergrundbilder, srcset-Varianten, Videos und Skripte werden nicht getestet, ebenso wenig Seiten hinter einer Anmeldung. Auch Anker werden nicht geprüft, ein Link auf /page#prices geht also durch, wenn /page existiert. Und eine Website, die für fehlende Seiten 200 antwortet, versteckt ihre toten Links vor jedem Crawler. Der Soft-404-Test erkennt diesen Fall.

Häufige Fragen

Schaden defekte Links der SEO?

Ein paar tote Links senken das Ranking einer Website nicht. Sie kosten etwas anderes. Ein defekter interner Link hindert Crawler daran, die Seite dahinter zu erreichen, der Wert, den dieser Link weitergab, geht verloren, und Besucher, die auf einen Fehler stoßen, gehen meist wieder.

Warum wird ein Link als defekt gemeldet, obwohl er sich in meinem Browser öffnet?

Das Ziel behandelt unseren Crawler nicht so wie Sie. Es blockiert vielleicht automatische Anfragen, antwortet zu langsam für das Limit von sechs Sekunden, liefert ein Zertifikat, für das Ihr Browser schon eine Ausnahme hat, oder braucht ein Cookie, das Sie haben. Öffnen Sie den Link zum Vergleich in einem privaten Fenster.

Beachtet der Crawler die robots.txt, und wie sperre ich ihn?

Ja. Er gibt sich als MissWrenchBot zu erkennen und folgt der Gruppe, die für diesen Namen geschrieben ist, oder der Gruppe *, wenn es keine gibt. Um ihn auszusperren, fügen Sie User-agent: MissWrenchBot gefolgt von Disallow: / hinzu. Mehr dazu auf der Seite über den Crawler.

Meine Website hat mehr als 100 Seiten. Was kann ich tun?

Der Crawl liest Seiten in der Reihenfolge, in der er sie entdeckt, ab der Adresse, die Sie angeben. Starten Sie ihn mehrmals von verschiedenen Einstiegspunkten aus, etwa erst von der Blog-Übersicht und dann vom Produktkatalog, um verschiedene Teile der Website abzudecken.

Wie lange werden die Ergebnisse aufbewahrt?

24 Stunden. Während ein Crawl läuft, wird die Adresse in Ihrer Browserleiste zu einem Link auf diesen Crawl. Sie können ihn als Lesezeichen speichern oder an eine Kollegin oder einen Kollegen schicken, bis er abläuft.

Was ist der Unterschied zwischen einem 404 und einem 410?

404 Not Found sagt, dass unter der Adresse gerade nichts existiert. 410 Gone sagt, dass die Seite absichtlich entfernt wurde und nicht wiederkommt. Für einen Link auf Ihrer Website ist die Reparatur dieselbe.

Verwandte Checks