Vérification de l’accès des robots IA

Trois tâches, trois familles de robots

Quand un « robot IA » demande votre page, il fait l’une de trois tâches différentes et la plupart des entreprises d’IA exploitent un robot distinct pour chacune. Il vaut la peine de les distinguer, car ce que chacun vous coûte et ce qu’il vous rapporte ne sont pas pareils.

Deux noms du groupe entraînement ne sont pas des robots du tout. Google-Extended et Applebot-Extended ne demandent jamais rien. Ce sont des étiquettes que Googlebot et Applebot cherchent dans votre robots.txt pour savoir si les pages qu’ils récupèrent déjà pour la recherche peuvent aussi servir à Gemini ou à Apple Intelligence. Les interdire ne change rien aux résultats de Google Search ou de Siri.

Comment un robot trouve ses règles

La vérification suit le protocole d’exclusion des robots (RFC 9309) comme le fait un robot bien élevé :

1. Elle cherche un groupe dont la ligne User-agent est exactement le jeton du robot, sans tenir compte des majuscules et des minuscules. Applebot ne couvre pas Applebot-Extended.
2. Si aucun groupe ne nomme le robot, le groupe User-agent: * s’applique. S’il n’y en a pas, tout est permis.
3. Dans le groupe, le chemin correspondant le plus long l’emporte. Quand un Allow et un Disallow ont la même longueur, Allow l’emporte. * correspond à n’importe quelle suite de caractères et $ marque la fin.

Chaque robot est ensuite testé sur la page d’accueil et sur un chemin de page ordinaire :

Autorisé

Les deux peuvent être lus. Certaines sections peuvent rester fermées, comme /wp-admin/ ou /cart/ et elles sont listées.

Partiel

L’un des deux est fermé.

Bloqué

Les deux sont fermés, ce qui en pratique veut dire Disallow: /.

L’état du fichier lui-même compte aussi. Un 404 signifie aucune règle, donc chaque robot peut tout lire. Une page HTML servie à l’adresse /robots.txt est ignorée, avec le même effet. Le cas dangereux est l’erreur 5xx. Les robots, Googlebot compris, la traitent comme « restez dehors » jusqu’au retour du fichier.

Écrire le bloc

Le générateur sous les résultats regroupe les robots par tâche. Cochez un groupe, ou ouvrez-le et choisissez les noms un par un : il écrit les lignes. Après une vérification, les cases démarrent dans l’état où se trouve votre site aujourd’hui. Beaucoup de sites choisissent de refuser l’entraînement et de garder les visites de recherche et à la demande :

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Plusieurs lignes User-agent peuvent partager un même ensemble de règles. Ajoutez le bloc à la fin du fichier existant et laissez votre groupe User-agent: * actuel tel quel. Le fichier doit être du texte brut, servi à la racine de chaque hôte : www.example.com et shop.example.com ont donc chacun le leur.

La vérification signale aussi deux signaux annexes. Le premier, ce sont les balises meta robots et les en-têtes X-Robots-Tag de la page d’accueil (y compris la valeur non standard noai). Le second, c’est l’existence d’un fichier /llms.txt. Ce fichier est un résumé proposé d’un site, en Markdown, à l’intention des modèles de langage. Il n’accorde rien et n’interdit rien.

Ce que robots.txt ne peut pas faire

Le robots.txt est une demande publiée. OpenAI, Anthropic, Google, Apple, Perplexity et Common Crawl affirment que leurs robots la respectent. Rien de technique n’y oblige un robot et les aspirateurs de contenu qui se cachent derrière un agent utilisateur de navigateur ne le lisent pas. Certaines entreprises disent aussi que les récupérations à la demande, puisqu’une personne les déclenche, peuvent ne pas le consulter.

Pour faire respecter un refus, il faut une règle au niveau du serveur ou du CDN qui répond 403 à l’agent utilisateur du robot ou à ses plages d’adresses IP publiées. Cloudflare, Fastly et la plupart des pare-feu d’applications web offrent une règle gérée pour les robots IA.