Vista crawler

Ogni pagina esiste in due copie

La prima copia è il documento HTML che esce dal tuo server. La seconda è quello che il browser ne ricava dopo aver caricato i fogli di stile, eseguito gli script e scaricato tutto quello che gli script richiedono. Le persone vedono sempre e solo la seconda copia.

I bot lavorano soprattutto sulla prima. Googlebot genera le pagine con un Chrome headless, ma in un secondo passaggio che può arrivare in ritardo e andare in timeout. Bingbot ne genera meno. I crawler che alimentano gli assistenti IA e i sistemi di anteprima delle app di chat e dei social in genere non eseguono affatto JavaScript. Se il tuo testo esiste solo nella seconda copia, una buona parte del tuo pubblico di macchine riceve una pagina vuota.

Questo controllo richiede la prima copia e si ferma lì. Non viene eseguito nulla e non viene applicato nessun foglio di stile.

Come leggere la vista in testo semplice

Percorriamo il corpo della pagina nell’ordine del sorgente e lo stampiamo come testo. Script, stili, template e disegni SVG inline vengono saltati. Il resto è marcato così:

#, ##, ###

Un titolo e il suo livello. Prova a leggere solo queste righe. Dovrebbero funzionare come indice della pagina.

Parole sottolineate

Un link. Passaci sopra con il mouse per vedere l’indirizzo a cui porta.

[Image: …]

Il testo alt di un’immagine. Un’immagine senza attributo alt viene indicata come mancante, con il nome del file. Pulsanti e campi dei moduli compaiono tra parentesi allo stesso modo.

Testo marcato come nascosto

Parole presenti nell’HTML ma con l’attributo hidden o uno stile inline come display:none, visibility:hidden, font-size:0 o un grande text-indent negativo.

Testo marcato noscript

Contenuto dentro <noscript>, che ricevono solo i bot e i visitatori senza JavaScript.

Sotto il testo trovi i numeri: dimensione dell’HTML, numero di parole visibili, quota dell’HTML che è testo, script, link e immagini. Una quota di testo tra il 10 e il 30% è tipica di una pagina fatta a mano o con un CMS. All’1 o 2%, il documento è soprattutto codice.

Cosa fa scattare ogni rilievo

L’ultimo blocco applica il tuo robots.txt a questo indirizzo per dieci crawler: Googlebot, Bingbot, Google-Extended, GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot e Applebot-Extended. Un blocco su Googlebot conta come errore. Un blocco su un crawler IA viene solo riportato, perché è una scelta che hai il diritto di fare. Il controllo dell’accesso dei bot IA copre un elenco più lungo per tutto il sito.

Mettere il tuo testo nella prima copia

Se il controllo ha trovato un contenitore vuoto, la pagina è un’applicazione lato client. Il server invia un guscio e il browser lo riempie. Ecco i rimedi, dal più completo al meno completo:

1. Genera sul server. Next.js, Nuxt, SvelteKit, Remix e Angular possono tutti produrre HTML completo per ogni richiesta e poi agganciarci gli script. Di solito è una scelta di configurazione, non una riscrittura.
2. Genera pagine statiche in fase di build. Per i contenuti che cambiano di rado, strumenti come Astro, Gatsby o l’export statico dei framework qui sopra scrivono un file HTML completo per ogni pagina.
3. Prerender per i bot. Un servizio di prerendering tiene un’istantanea generata e la serve ai crawler. Funziona, ma ora hai due versioni da curare.

Su un CMS classico come WordPress o Drupal l’HTML contiene già il testo e i rilievi sono più piccoli: un prezzo mostrato solo dentro un’immagine, un menu i cui link sono gestori onclick, o un numero di telefono in un’immagine banner con alt vuoto.