Zugriff für KI-Bots prüfen

Drei Aufgaben, drei Gruppen von Crawlern

Wenn ein „KI-Bot“ Ihre Seite abruft, erledigt er eine von drei verschiedenen Aufgaben, und die meisten KI-Firmen betreiben für jede einen eigenen Crawler. Es lohnt sich, sie auseinanderzuhalten, denn was jeder Sie kostet und was Sie zurückbekommen, ist nicht dasselbe.

Zwei Namen in der Trainingsgruppe sind gar keine Crawler. Google-Extended und Applebot-Extended rufen nie etwas ab. Es sind Kennzeichen, die Googlebot und Applebot in Ihrer robots.txt nachschlagen, um zu erfahren, ob Seiten, die sie ohnehin für die Suche abrufen, auch für Gemini oder Apple Intelligence genutzt werden dürfen. Sie zu sperren ändert nichts an den Ergebnissen in der Google-Suche oder bei Siri.

Wie ein Crawler seine Regeln findet

Der Check folgt dem Robots Exclusion Protocol (RFC 9309) so, wie es ein gut erzogener Crawler tut:

1. Er sucht eine Gruppe, deren User-agent-Zeile genau das Token des Crawlers enthält, ohne Rücksicht auf Groß- und Kleinschreibung. Applebot deckt Applebot-Extended nicht ab.
2. Nennt keine Gruppe den Crawler, gilt die Gruppe User-agent: *. Gibt es keine, ist alles erlaubt.
3. Innerhalb der Gruppe gewinnt der längste passende Pfad. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. * passt auf jede Zeichenfolge, und $ verankert das Ende.

Jeder Crawler wird dann gegen die Startseite und gegen einen gewöhnlichen Seitenpfad getestet:

Erlaubt

Beide dürfen gelesen werden. Einzelne Bereiche können trotzdem geschlossen sein, etwa /wp-admin/ oder /cart/, und werden aufgelistet.

Teilweise

Einer der beiden ist geschlossen.

Blockiert

Beide sind geschlossen, was in der Praxis Disallow: / bedeutet.

Auch der Zustand der Datei selbst zählt. Ein 404 bedeutet keine Regeln, jeder Crawler darf also alles lesen. Eine HTML-Seite unter /robots.txt wird ignoriert, mit derselben Wirkung. Gefährlich ist ein 5xx-Fehler. Crawler, Googlebot eingeschlossen, behandeln ihn als „draußen bleiben“, bis die Datei wieder da ist.

Den Block schreiben

Der Generator unter den Ergebnissen gruppiert die Crawler nach Aufgabe. Haken Sie eine Gruppe an, oder öffnen Sie sie und wählen Sie Namen einzeln, und er schreibt die Zeilen. Nach einem Check stehen die Kästchen anfangs so, wie Ihre Website heute eingestellt ist. Viele Websites entscheiden sich, Training abzulehnen und Suche und Abrufe auf Anfrage zu behalten:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
Disallow: /

Mehrere User-agent-Zeilen können sich einen Satz Regeln teilen. Fügen Sie den Block am Ende der bestehenden Datei an und lassen Sie Ihre aktuelle Gruppe User-agent: * unverändert. Die Datei muss reiner Text sein und im Stammverzeichnis jedes Hosts liegen, also brauchen www.example.com und shop.example.com jeweils ihre eigene.

Der Check meldet außerdem zwei Nebensignale. Das eine sind Robots-Meta-Tags und X-Robots-Tag-Header auf der Startseite (einschließlich des nicht standardisierten Werts noai). Das andere ist, ob es eine Datei /llms.txt gibt. Diese Datei ist eine vorgeschlagene Markdown-Zusammenfassung einer Website für Sprachmodelle. Sie erlaubt nichts und verbietet nichts.

Was robots.txt nicht kann

robots.txt ist eine öffentliche Bitte. OpenAI, Anthropic, Google, Apple, Perplexity und Common Crawl geben an, dass ihre Crawler sich daran halten. Technisch zwingt nichts einen Crawler dazu, und Scraper, die sich hinter einem Browser-User-Agent verstecken, lesen sie nicht. Einige Firmen sagen außerdem, dass Abrufe auf Anfrage sie nicht unbedingt beachten, da ein Mensch sie auslöst.

Um eine Ablehnung durchzusetzen, brauchen Sie eine Regel auf dem Server oder im CDN, die dem User-Agent des Crawlers oder seinen veröffentlichten IP-Bereichen mit 403 antwortet. Cloudflare, Fastly und die meisten Web Application Firewalls bieten eine verwaltete Regel für KI-Crawler.