Verificação de acesso de robôs de IA
Umas duas dúzias de robôs coletam hoje páginas da web para produtos de IA. Esta verificação aplica o seu robots.txt a cada um deles, mostra quem tem entrada liberada e escreve as regras se você quiser mudar a lista de convidados.
Montar as linhas do seu robots.txt
Marque os tipos de robôs que você quer barrar. As regras abaixo se reescrevem a cada mudança; adicione-as ao fim do seu robots.txt. Nada aqui é enviado ao nosso servidor.
Estas linhas não mexem com o Googlebot e o Bingbot, então sua posição nos resultados de busca não muda. Sem acesso aos arquivos no WordPress? Plugins de SEO como Yoast e Rank Math incluem um editor de robots.txt.
Três funções, três grupos de robôs
Quando um “robô de IA” pede a sua página, ele está fazendo uma de três funções diferentes, e a maioria das empresas de IA usa um robô separado para cada uma. Vale a pena distingui-los, porque o que cada um custa a você e o que você ganha em troca não são a mesma coisa.
| Função | O que acontece com a sua página | Exemplos |
|---|---|---|
| Treinamento | O texto entra nos dados usados para construir modelos futuros. Você não recebe link nem visita em troca. | GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent, Amazonbot |
| Busca com IA | A página entra num índice. Quando um usuário faz uma pergunta, o assistente pode citá-la e linká-la como fonte. | OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot |
| Sob demanda | Uma pessoa colou o seu endereço num assistente, ou pediu que ele pesquisasse algo, e ele busca aquela página na hora. | ChatGPT-User, Claude-User, Perplexity-User, MistralAI-User |
Dois nomes do grupo de treinamento nem são robôs. Google-Extended e Applebot-Extended nunca pedem nada. São rótulos que o Googlebot e o Applebot procuram no seu robots.txt para saber se as páginas que já buscam para a pesquisa também podem ser usadas para o Gemini ou a Apple Intelligence. Bloqueá-los não muda nada nos resultados da Pesquisa Google nem da Siri.
Como um robô encontra as suas regras
A verificação segue o Robots Exclusion Protocol (RFC 9309) como faz um robô bem-comportado:
- Procura um grupo cuja linha
User-agentseja exatamente o token do robô, sem diferenciar maiúsculas de minúsculas.Applebotnão cobreApplebot-Extended. - Se nenhum grupo cita o robô, vale o grupo
User-agent: *. Se ele não existir, tudo é permitido. - Dentro do grupo, vence o caminho correspondente mais longo. Quando um
Allowe umDisallowtêm o mesmo tamanho, vence oAllow.*corresponde a qualquer sequência de caracteres e$marca o fim.
Cada robô é então testado na página inicial e num caminho de página comum:
- Permitido
- As duas podem ser lidas. Algumas seções ainda podem estar fechadas, como
/wp-admin/ou/cart/, e elas aparecem na lista. - Parcial
- Uma das duas está fechada.
- Bloqueado
- As duas estão fechadas, o que na prática significa
Disallow: /.
O estado do próprio arquivo também conta. Um 404 significa nenhuma regra, então qualquer robô pode ler tudo. Uma página HTML servida em /robots.txt é ignorada, com o mesmo efeito. O perigoso é um erro 5xx. Os robôs, Googlebot incluído, entendem isso como “não entre” até o arquivo voltar.
Escrever o bloco
O gerador abaixo dos resultados agrupa os robôs por função. Marque um grupo, ou abra e escolha os nomes um a um, e ele escreve as linhas. Depois de uma verificação, as caixas começam no estado em que o seu site está hoje. Muitos sites escolhem recusar o treinamento e manter as visitas de busca e sob demanda:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /Várias linhas User-agent podem compartilhar o mesmo conjunto de regras. Acrescente o bloco no fim do arquivo existente e deixe o seu grupo User-agent: * atual como está. O arquivo precisa ser texto puro, servido na raiz de cada host, então www.example.com e shop.example.com precisam cada um do seu.
A verificação também aponta dois sinais paralelos. Um são as meta tags robots e os cabeçalhos X-Robots-Tag da página inicial (incluindo o valor fora do padrão noai). O outro é se existe um arquivo /llms.txt. Esse arquivo é uma proposta de resumo de um site em Markdown para modelos de linguagem. Ele não concede nada nem proíbe nada.
O que o robots.txt não consegue fazer
O robots.txt é um pedido publicado. OpenAI, Anthropic, Google, Apple, Perplexity e Common Crawl declaram que os seus robôs o seguem. Nada técnico obriga um robô a isso, e os scrapers que se escondem atrás de um user agent de navegador nem o leem. Algumas empresas também dizem que as buscas sob demanda, por serem iniciadas por uma pessoa, podem não consultá-lo.
Bloquear um robô de treinamento impede a coleta futura. Não remove páginas já coletadas e não tem efeito sobre cópias do seu texto que outros sites republicaram.
Para impor uma recusa, você precisa de uma regra no servidor ou na CDN que responda 403 ao user agent do robô ou às faixas de IP publicadas por ele. Cloudflare, Fastly e a maioria dos firewalls de aplicação web oferecem uma regra gerenciada para robôs de IA.
Perguntas frequentes
Bloquear o GPTBot tira o meu site do ChatGPT?
Não. O GPTBot só coleta dados de treinamento. As citações na busca do ChatGPT vêm do OAI-SearchBot, e as páginas que um usuário pede para o ChatGPT abrir são buscadas pelo ChatGPT-User. Cada um tem a sua própria linha no robots.txt.
Bloquear robôs de IA prejudica meu ranking no Google?
Não, desde que você não mexa no Googlebot nem no Bingbot. Google-Extended é um token separado que só controla o uso para o Gemini. Lembre que as Visões gerais criadas por IA da Pesquisa Google são produzidas a partir do índice normal do Googlebot.
Como bloquear todos os robôs de IA no robots.txt?
Liste cada token na sua própria linha User-agent, seguida de um único Disallow: /. Não existe curinga para “toda IA”. Marque os três grupos no gerador desta página para ter a lista completa, e volte de vez em quando, porque novos robôs não param de aparecer.
O que é llms.txt?
Um arquivo proposto em 2024, colocado em /llms.txt, que descreve um site em Markdown com links para as páginas principais. A ideia é ajudar os modelos de linguagem a achar o conteúdo útil. Poucas ferramentas o leem por enquanto e ele não é um controle de acesso.
As empresas de IA respeitam mesmo o robots.txt?
As grandes documentam os tokens dos seus robôs e dizem que cumprem, e os logs de servidor em geral confirmam isso. Scrapers menores muitas vezes ignoram o arquivo ou usam um user agent falso. Se você precisa ter certeza, bloqueie no firewall.
Por que um robô aparece como permitido se eu nunca o mencionei?
Um robô sem grupo próprio recorre ao User-agent: *. Se esse grupo não bloqueia o site inteiro, o robô está permitido. No robots.txt, não dizer nada significa sim.