Verifica accesso bot IA

Q: Bloccare GPTBot toglie il mio sito da ChatGPT?

No. GPTBot raccoglie solo dati di addestramento. Le citazioni nella ricerca di ChatGPT vengono da OAI-SearchBot , e le pagine che un utente chiede a ChatGPT di aprire vengono scaricate da ChatGPT-User . Ognuno ha la sua riga nel robots.txt.

Q: Bloccare i crawler IA danneggia il mio posizionamento su Google?

No, purché lasci stare Googlebot e Bingbot . Google-Extended è un token separato che controlla solo l’uso per Gemini. Tieni presente che le AI Overview di Google Search sono prodotte a partire dal normale indice di Googlebot.

Q: Come blocco tutti i bot IA nel robots.txt?

Elenca ogni token su una sua riga User-agent , seguita da un solo Disallow: / . Non esiste un carattere jolly per «tutte le IA». Spunta i tre gruppi nel generatore di questa pagina per avere l’elenco completo, e torna ogni tanto, perché continuano a comparire nuovi crawler.

Q: Cos’è llms.txt?

Un file proposto nel 2024, posto su /llms.txt , che descrive un sito in Markdown con i link alle sue pagine principali. Serve ad aiutare i modelli linguistici a trovare il contenuto utile. Pochi strumenti lo leggono per ora e non è un controllo d’accesso.

Q: Perché un crawler risulta permesso se non l’ho mai nominato?

Un crawler senza un gruppo proprio ripiega su User-agent: * . Se quel gruppo non blocca l’intero sito, il crawler è permesso. Nel robots.txt, non dire nulla significa sì.

Ormai una ventina di crawler raccoglie pagine web per prodotti di IA. Questo controllo applica il tuo robots.txt a ciascuno, mostra chi può entrare e scrive le regole se vuoi cambiare la lista degli invitati.

Tre compiti, tre gruppi di crawler

Quando un «bot IA» richiede la tua pagina, sta svolgendo uno di tre compiti diversi, e la maggior parte delle aziende di IA usa un crawler separato per ciascuno. Conviene distinguerli, perché quanto ti costa ognuno e cosa ricevi in cambio non è la stessa cosa.

Compito	Cosa succede alla tua pagina	Esempi
Addestramento	Il testo viene aggiunto ai dati usati per costruire i modelli futuri. In cambio non ricevi né link né visite.	`GPTBot`, `ClaudeBot`, `CCBot`, `Bytespider`, `Meta-ExternalAgent`, `Amazonbot`
Ricerca IA	La pagina entra in un indice. Quando un utente fa una domanda, l’assistente può citarla e linkarla come fonte.	`OAI-SearchBot`, `Claude-SearchBot`, `PerplexityBot`, `DuckAssistBot`
Su richiesta	Una persona ha incollato il tuo indirizzo in un assistente, o gli ha chiesto di cercare qualcosa, e lui scarica quella sola pagina in quel momento.	`ChatGPT-User`, `Claude-User`, `Perplexity-User`, `MistralAI-User`

Due nomi del gruppo addestramento non sono affatto crawler. Google-Extended e Applebot-Extended non richiedono mai nulla. Sono etichette che Googlebot e Applebot cercano nel tuo robots.txt per sapere se le pagine che già scaricano per la ricerca possono servire anche per Gemini o Apple Intelligence. Bloccarle non cambia nulla nei risultati di Google Search o di Siri.

Come un crawler trova le sue regole

Il controllo segue il Robots Exclusion Protocol (RFC 9309) come fa un crawler educato:

Cerca un gruppo la cui riga User-agent sia esattamente il token del crawler, senza distinguere maiuscole e minuscole. Applebot non copre Applebot-Extended.
Se nessun gruppo nomina il crawler, si applica il gruppo User-agent: *. Se non c’è, è tutto permesso.
Dentro il gruppo vince il percorso corrispondente più lungo. Quando un Allow e un Disallow hanno la stessa lunghezza, vince Allow. * corrisponde a qualsiasi sequenza di caratteri e $ ancora la fine.

Ogni crawler viene poi testato sulla home page e su un percorso di pagina normale:

Permesso: Si possono leggere entrambe. Alcune sezioni possono comunque essere chiuse, come /wp-admin/ o /cart/, e vengono elencate.
Parziale: Una delle due è chiusa.
Bloccato: Sono chiuse entrambe, il che in pratica significa Disallow: /.

Conta anche lo stato del file stesso. Un 404 significa nessuna regola, quindi ogni crawler può leggere tutto. Una pagina HTML servita su /robots.txt viene ignorata, con lo stesso effetto. Quello pericoloso è un errore 5xx. I crawler, Googlebot compreso, lo trattano come «vietato entrare» finché il file non torna.

Scrivere il blocco

Il generatore sotto i risultati raggruppa i crawler per compito. Spunta un gruppo, o aprilo e scegli i nomi uno per uno, e lui scrive le righe. Dopo un controllo, le caselle partono nello stato in cui si trova oggi il tuo sito. Molti siti scelgono di rifiutare l’addestramento e di tenere la ricerca e le visite su richiesta:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Più righe User-agent possono condividere un solo insieme di regole. Aggiungi il blocco alla fine del file esistente e lascia com’è il tuo gruppo User-agent: * attuale. Il file deve essere testo semplice, servito alla radice di ogni host, quindi www.example.com e shop.example.com hanno bisogno ciascuno del proprio.

Il controllo riporta anche due segnali collaterali. Uno sono i meta tag robots e gli header X-Robots-Tag della home page (compreso il valore non standard noai). L’altro è l’esistenza di un file /llms.txt. Quel file è una proposta di riassunto in Markdown di un sito per i modelli linguistici. Non concede nulla e non vieta nulla.

Cosa non può fare il robots.txt

Il robots.txt è una richiesta pubblica. OpenAI, Anthropic, Google, Apple, Perplexity e Common Crawl dichiarano che i loro crawler lo rispettano. Nessun meccanismo tecnico obbliga un crawler a farlo, e gli scraper che si nascondono dietro lo user agent di un browser non lo leggono. Alcune aziende dicono anche che gli accessi su richiesta, essendo avviati da una persona, potrebbero non consultarlo.

Bloccare un crawler di addestramento ferma la raccolta futura. Non rimuove le pagine già raccolte e non ha effetto sulle copie del tuo testo ripubblicate da altri siti.

Per imporre un rifiuto ti serve una regola sul server o sulla CDN che risponda 403 allo user agent del crawler o ai suoi intervalli IP pubblicati. Cloudflare, Fastly e la maggior parte dei web application firewall offrono una regola gestita per i crawler IA.

Domande frequenti

Bloccare GPTBot toglie il mio sito da ChatGPT?

No. GPTBot raccoglie solo dati di addestramento. Le citazioni nella ricerca di ChatGPT vengono da OAI-SearchBot, e le pagine che un utente chiede a ChatGPT di aprire vengono scaricate da ChatGPT-User. Ognuno ha la sua riga nel robots.txt.

Bloccare i crawler IA danneggia il mio posizionamento su Google?

No, purché lasci stare Googlebot e Bingbot. Google-Extended è un token separato che controlla solo l’uso per Gemini. Tieni presente che le AI Overview di Google Search sono prodotte a partire dal normale indice di Googlebot.

Come blocco tutti i bot IA nel robots.txt?

Elenca ogni token su una sua riga User-agent, seguita da un solo Disallow: /. Non esiste un carattere jolly per «tutte le IA». Spunta i tre gruppi nel generatore di questa pagina per avere l’elenco completo, e torna ogni tanto, perché continuano a comparire nuovi crawler.

Cos’è llms.txt?

Un file proposto nel 2024, posto su /llms.txt, che descrive un sito in Markdown con i link alle sue pagine principali. Serve ad aiutare i modelli linguistici a trovare il contenuto utile. Pochi strumenti lo leggono per ora e non è un controllo d’accesso.

Le aziende di IA rispettano davvero il robots.txt?

Le grandi documentano i token dei loro crawler e dicono di rispettarlo, e i log dei server per lo più lo confermano. Gli scraper più piccoli spesso ignorano il file o usano uno user agent falso. Se ti serve la certezza, blocca a livello di firewall.

Perché un crawler risulta permesso se non l’ho mai nominato?

Un crawler senza un gruppo proprio ripiega su User-agent: *. Se quel gruppo non blocca l’intero sito, il crawler è permesso. Nel robots.txt, non dire nulla significa sì.