Localizador de links quebrados

Links quebram sem ninguém mexer neles

Quando você adiciona um link, está contando com o servidor de outra pessoa, ou com um arquivo que talvez você renomeie no ano que vem. A sua página só guarda o endereço. O destino muda de lugar, um domínio não é renovado, uma imagem é apagada da biblioteca de mídia, e a sua página continua exatamente igual no editor. A única pessoa que descobre é quem clica.

Essa deterioração lenta se chama link rot e nunca para. Um estudo de 2024 do Pew Research Center constatou que 38% das páginas web que existiam em 2013 não podiam mais ser acessadas dez anos depois. Para saber em que pé o seu site está, alguém precisa testar cada link. É um trabalho horrível para uma pessoa e fácil para um programa.

Como o rastreamento avança

1. Buscamos a página inicial e lemos o robots.txt. Os caminhos que ele proíbe são deixados de lado.
2. Cada <a href> e <img src> é coletado, incluindo imagens com carregamento lento em data-src. Links mailto:, tel: e javascript: são ignorados, e o #fragmento é descartado.
3. Links para páginas do mesmo host entram na fila para serem lidos em seguida. example.com e www.example.com contam como um só site. Outros subdomínios, não.
4. Todo o resto (outros sites, PDFs, imagens, downloads) só é testado. Começamos com uma requisição HEAD, que pede o status sem o corpo, e passamos para um GET normal se o servidor recusar o HEAD.
5. Os redirecionamentos são seguidos manualmente, até cinco saltos. Um sexto salto, ou um endereço que redireciona para si mesmo, é informado como loop.

O rastreamento para depois de 100 páginas lidas ou 600 requisições. Ele abre no máximo quatro conexões ao mesmo tempo com um host, espera seis segundos por uma resposta e testa cada endereço uma única vez, não importa quantas vezes ele seja citado. Quando um caminho aparece com mais de cinco query strings diferentes, as variantes extras são ignoradas. Senão, uma agenda ou uma página de filtros consumiria todo o orçamento.

Como ler as quatro listas

Links quebrados

O destino respondeu com um erro, ou não respondeu. 404 e 410 significam que a página sumiu. 500 a 504 indicam um servidor com falha e podem ser temporários. “Nome de domínio não encontrado” muitas vezes significa que o site inteiro foi fechado. “Certificado SSL inválido” significa que os navegadores mostram um aviso antes da página.

Imagens quebradas

As mesmas causas, mas o que o visitante vê é um quadro vazio ou um ícone de imagem quebrada.

Redirecionamentos internos

Links para as suas próprias páginas que só funcionam por meio de um redirecionamento. Nada está quebrado, mas cada clique custa uma ida e volta a mais, e alguém pode remover o redirecionamento um dia.

A verificar manualmente

O destino respondeu 401, 403, 429 ou 999, então ele recusa robôs ou pede login. LinkedIn, Facebook e muitos sites atrás de proteção contra bots fazem isso. Você vai precisar abrir o link para tirar a dúvida.

Cada linha lista até cinco páginas onde o endereço aparece, e as falhas mais repetidas vêm primeiro. Um link quebrado em um rodapé aparece em todas as páginas, e você o corrige em um único lugar.

Consertando o que o rastreamento encontra

• Uma página sua mudou de lugar. Corrija o link e depois adicione um redirecionamento permanente para quem chega de outros lugares. Apache: Redirect 301 /old-page/ /new-page/. nginx: location = /old-page/ { return 301 /new-page/; }.
• Outro site mudou a página dele de lugar. Procure o novo endereço nesse site. Se o conteúdo sumiu, aponte para uma cópia na Wayback Machine (web.archive.org) ou remova o link.
• Imagem ausente. Envie-a de novo com o mesmo nome, ou edite a página.
• Redirecionamento interno. Substitua o endereço no link pelo endereço final mostrado no relatório.