Vue robot

Chaque page existe en deux exemplaires

Le premier exemplaire est le document HTML qui sort de votre serveur. Le second est ce qu’un navigateur construit à partir de lui une fois les feuilles de style chargées, les scripts exécutés et tout ce que ces scripts demandent récupéré. Les gens ne voient jamais que le second exemplaire.

Les robots travaillent surtout sur le premier. Googlebot affiche bien les pages avec un Chrome sans interface, mais dans une seconde passe qui peut prendre du retard et expirer. Bingbot en affiche moins. Les robots qui alimentent les assistants d’IA et les récupérateurs d’aperçus des applications de messagerie et de réseaux sociaux, n’exécutent en général pas du tout JavaScript. Si votre texte n’existe que dans le second exemplaire, une bonne partie de votre public machine reçoit une page vide.

Ce contrôle demande le premier exemplaire et s’arrête là. Rien n’est exécuté et aucune feuille de style n’est appliquée.

Comment lire la vue en texte brut

Nous parcourons le corps de la page dans l’ordre de la source et nous l’affichons en texte. Les scripts, styles, modèles et dessins SVG en ligne sont ignorés. Le reste est marqué ainsi :

#, ##, ###

Un titre et son niveau. Essayez de ne lire que ces lignes. Elles devraient servir de table des matières à la page.

Mots soulignés

Un lien. Survolez-le pour voir l’adresse vers laquelle il mène.

[Image: …]

Le texte alt d’une image. Une image sans attribut alt est indiquée comme manquante, avec son nom de fichier. Les boutons et les champs de formulaire apparaissent de la même façon entre crochets.

Texte marqué comme caché

Des mots présents dans le HTML mais qui portent l’attribut hidden ou un style en ligne comme display:none, visibility:hidden, font-size:0 ou un grand text-indent négatif.

Texte marqué noscript

Le contenu à l’intérieur de <noscript>, que seuls les robots et les visiteurs sans JavaScript reçoivent.

Sous le texte, vous trouvez les chiffres : taille du HTML, nombre de mots visibles, part du HTML qui est du texte, scripts, liens et images. Une part de texte entre 10 et 30 % est typique d’une page faite à la main ou d’une page de CMS. À 1 ou 2 %, le document est surtout du code.

Ce qui déclenche chaque constat

Le dernier bloc applique votre robots.txt à cette seule adresse pour dix robots d’exploration : Googlebot, Bingbot, Google-Extended, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot et Applebot-Extended. Un blocage de Googlebot compte comme une erreur. Un blocage d’un robot d’IA est simplement signalé, puisque c’est un choix que vous avez le droit de faire. Le contrôle d’accès des robots d’IA couvre une liste plus longue pour l’ensemble du site.

Mettre votre texte dans le premier exemplaire

Si le contrôle a trouvé un conteneur vide, la page est une application côté client. Le serveur envoie une coquille et le navigateur la remplit. Voici les remèdes, du plus complet au moins complet :

1. Générer côté serveur. Next.js, Nuxt, SvelteKit, Remix et Angular peuvent tous produire un HTML complet à chaque requête puis y attacher les scripts. C’est en général un choix de configuration, pas une réécriture.
2. Générer des pages statiques à la compilation. Pour un contenu qui change peu, des outils comme Astro, Gatsby ou l’export statique des frameworks ci-dessus écrivent un fichier HTML complet par page.
3. Prérendre pour les robots. Un service de prérendu garde un instantané généré et le sert aux robots d’exploration. Ça marche, mais vous avez alors deux versions à entretenir.

Sur un CMS classique comme WordPress ou Drupal, le HTML contient déjà le texte et les constats sont plus modestes : un prix affiché seulement dans une image, un menu dont les liens sont des gestionnaires onclick, ou un numéro de téléphone dans une image de bannière avec un alt vide.