Testador de robots.txt

Um aviso na porta, lido antes de cada visita

Antes de pedir páginas a um host, um robô bem-comportado pede um arquivo, o /robots.txt. O arquivo lista os caminhos que o dono do site prefere que não sejam buscados, separados por qual robô está perguntando. Durante décadas, funcionou só por costume. Ganhou uma norma escrita em 2022, a RFC 9309, e este testador segue esse texto.

O arquivo é feito de grupos. Um grupo começa com uma ou mais linhas User-agent e continua com regras Allow e Disallow:

User-agent: *
Disallow: /cart/
Disallow: /*?sort=

User-agent: GPTBot
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

Cada host e cada esquema tem o seu próprio arquivo. As regras de https://www.example.com não dizem nada sobre https://shop.example.com.

Como se chega ao veredito

São duas escolhas, nesta ordem.

1. Qual grupo. O robô procura um grupo que cite o seu próprio token, sem diferenciar maiúsculas de minúsculas. Se encontra, obedece a esse grupo e a mais nada. Só recorre ao User-agent: * quando nenhum grupo o cita. Isso pega muita gente desprevenida: crie um grupo curto para o Googlebot e você livrou o Googlebot de todas as regras escritas sob *. Grupos que citam o mesmo token são lidos como um só. Alguns robôs têm uma segunda opção documentada, que o testador aplica. Googlebot-Image e Applebot seguem o grupo do Googlebot quando não têm um próprio, e o YandexBot segue Yandex.
2. Qual regra. Dentro do grupo, toda regra cujo padrão corresponde ao início do caminho é candidata. Vence a candidata com o padrão mais longo, esteja onde estiver no arquivo. Se um Allow e um Disallow de mesmo tamanho correspondem, vence o Allow. Se nada corresponde, o endereço está liberado.

Os padrões são comparados com o caminho e a query string, caractere por caractere, diferenciando maiúsculas e minúsculas. Dois caracteres são especiais: * vale por qualquer sequência de caracteres, e $ bem no fim significa “o caminho termina aqui”.

A codificação por porcentagem é normalizada antes da comparação, então /caf%C3%A9 e /café são o mesmo caminho.

Lendo o resultado

O resumo dá o veredito, o número da linha que decide e o grupo aplicado. Abaixo dele, o arquivo é exibido com números de linha. As linhas do grupo aplicado levam uma barra, e a linha que decide fica destacada. Quando várias regras correspondem, uma pequena tabela as lista com o tamanho do padrão, e esse tamanho basta para ver por que uma vence a outra. Uma última tabela dá o veredito para os outros robôs da lista, porque o mesmo arquivo muitas vezes os trata de forma diferente.

O status do arquivo importa tanto quanto o conteúdo:

• 404 ou qualquer outro 4xx: não há regras, todo endereço está liberado. Isso inclui o 403. Proibir o arquivo não proíbe o rastreamento.
• 5xx, 429 ou nenhuma resposta: o robô não tem como saber as regras e precisa ficar fora do site inteiro até o arquivo voltar.
• 200 com uma página web dentro: nenhuma linha válida, então nada é bloqueado. Acontece quando um site responde a todo endereço desconhecido com a página inicial.

O testador também aponta as linhas que um robô vai pular: regras colocadas antes de qualquer linha User-agent, nomes de diretiva desconhecidos ou com erro de digitação, padrões que não começam com /, um arquivo acima de 500 KiB, linhas Noindex: (o Google deixou de lê-las em 2019) e Crawl-delay, que o Googlebot ignora.

O que um robots.txt não consegue fazer

É um pedido. Os buscadores e as grandes empresas de IA dizem que o respeitam. Scrapers e scanners de segurança não, então nunca liste ali um caminho secreto. Além disso, o arquivo é público e qualquer um pode lê-lo.

Esta página lê o arquivo uma vez, a partir do nosso servidor. Um robô pode guardar uma cópia de até um dia, e um site pode servir um arquivo diferente para visitantes diferentes. Cada robô também tem o seu próprio parser. Onde a norma é omissa, por exemplo em diretivas com erro de digitação, lemos a linha como faz o parser publicado pelo Google e avisamos você.