Im Serverlog steht GPTBot, im CDN-Bericht „AI“, und aus dem Vertrieb kommt die Frage, ob die neue Dokumentation schon in KI-Antworten erscheint. Diese Angaben beschreiben verschiedene Dinge. Aus keiner einzelnen lässt sich die ganze Geschichte ableiten.
Für eine brauchbare Auswertung brauchst du vier getrennte Angaben: den vom Anbieter dokumentierten Zweck, eure gewünschte Regel, die geprüfte Identität und die tatsächlich ausgelieferte Antwort. Erst danach lohnt die Frage nach einem sichtbaren Ergebnis in einer Suche oder einem Assistenten.
Die Grundlagen zum Blockieren oder Erlauben von KI-Crawlern erklären passende robots.txt-Regeln. Hier geht es um deren Nachweis im laufenden Betrieb. Das Beispiel ist vollständig hypothetisch. Es enthält keine beobachteten Bot-Besuche und keine Treffer einer echten Website.
Eine Zweckliste ist noch kein Zugriffsbericht
Ein Anbieter kann verschiedene Agenten für Suche, Modellentwicklung und Nutzerabrufe einsetzen. Diese Unterscheidung hilft beim Entwurf einer Policy. Sie ist aber keine Messung darüber, was ein bestimmtes Dokument später im System bewirkt.
In der aktuellen OpenAI-Übersicht ist OAI-SearchBot für die ChatGPT-Suche beschrieben, GPTBot für Inhalte, die im Modelltraining verwendet werden können, und ChatGPT-User für bestimmte Aktionen im Auftrag eines Nutzers. Die Einstellungen für Suchbot und Trainingsbot sind unabhängig. Sind beide zugelassen, kann OpenAI einen Crawl für beide Zwecke verwenden, um doppelte Abrufe zu vermeiden.
Schon deshalb ist die Anzahl der GPTBot-Zeilen keine genaue Anzahl sämtlicher Trainingsverwendungen. Ebenso beweist eine OAI-SearchBot-Zeile keine Zitierung dieser Seite in einer späteren Antwort. Der dokumentierte Zweck erklärt eine mögliche Verarbeitung, nicht deren individuell beobachtetes Ergebnis.
Führe neben dem Bot-Namen deshalb eine Spalte „Aussagequelle“. Verweise dort auf die zum Prüfdatum gelesene Anbieterbeschreibung. Ein pauschales Label aus einer CDN-Oberfläche bleibt ein Hinweis auf deren Klassifizierung, solange die konkrete Zuordnung nicht bekannt ist.
Namen, Policy-Token und Produkte auseinanderhalten
Die robots.txt adressiert benannte Agenten oder Steuerungstoken. Nicht jeder dieser Namen muss als eigener HTTP-User-Agent in einem Zugriffslog erscheinen.
Google dokumentiert bei Google-Extended genau diesen Sonderfall: Es ist kein eigener HTTP-User-Agent. Der Token steuert bestimmte Nutzungen bereits gecrawlter Inhalte für Gemini-Training und Grounding. Er beeinflusst weder die Aufnahme in Google Search noch deren Ranking.
Am 30. Oktober 2026 kündigte Google an, 2027 den gemeinsamen Token __usage_ai-training zu unterstützen. Googles aktuelle Dokumentation zu den Crawling-Agenten nennt inzwischen Anfang 2027 als Ziel. Der Token ist im Internet-Draft zur maschinenlesbaren Trainingspräferenz beschrieben. Das ist weiterhin ein Arbeitsentwurf, kein von der IETF angenommener Standard. Wenn eine Website mit diesem Signal Trainingsnutzung ablehnt und Google-Extended nicht ausdrücklich regelt, will Google das künftig wie eine Sperre von Google-Extended interpretieren. Das ist angekündigtes Verhalten, keine bereits aktive Auswertung. Bei einer künftigen robots.txt-Migration solltest du deshalb auch separat festhalten, ob Google-Extended für Gemini-Grounding gewünscht ist.
Ein Dashboard, das nur nach Google-Extended in User-Agent-Strings sucht, kann daher keinen brauchbaren Erfolgszähler für diese Policy liefern. Null Treffer wären hier kein Nachweis dafür, dass Google die Regel ignoriert oder dass die Regel wirkungslos ist. Der gesuchte eigenständige Abruf ist gar nicht zugesagt.
Auch AI Overviews darfst du nicht anhand dieses Tokens einordnen. Die Entscheidung über Google-Extended und die Kontrolle der Google-Suche haben unterschiedliche Produktgrenzen. Bewahre diese Grenze in der Dokumentation auf, statt aus dem gemeinsamen Firmennamen eine gemeinsame Zugriffseinstellung zu machen.
Nutzerabrufe folgen keiner einheitlichen Bot-Regel
Bei ChatGPT-User weist OpenAI darauf hin, dass robots.txt-Regeln wegen des Nutzerauftrags möglicherweise nicht gelten. Dieser Agent entscheidet außerdem nicht darüber, ob Inhalte in der Suche erscheinen dürfen. Ein Block dieses Namens ist deshalb kein gleichwertiger Ersatz für die Suchbot-Einstellung.
Anthropic beschreibt ebenfalls drei Rollen: ClaudeBot für mögliche Trainingsinhalte, Claude-SearchBot für die Suche und Claude-User für Nutzerabrufe. Zugleich erklärt Anthropic, dass seine Bots robots.txt-Anweisungen respektieren. Übertrage die OpenAI-Ausnahme deshalb nicht pauschal auf jeden Agenten mit „User“ im Namen.
| Eintrag | Dokumentierte Zuordnung | Was der Name allein nicht belegt |
|---|---|---|
| OAI-SearchBot oder Claude-SearchBot | Suchbezogener Abruf | Eine bestimmte spätere Antwort oder Quelle |
| GPTBot oder ClaudeBot | Sammlung für mögliche Modellentwicklung beziehungsweise Training | Dass ein konkreter Text tatsächlich in einem Modell gelandet ist |
| ChatGPT-User oder Claude-User | Nutzerbezogener Abruf, mit unterschiedlichen Anbieterregeln | Welche Person welchen Auftrag erteilt hat |
| Google-Extended | Steuerung bestimmter Inhaltsnutzungen | Einen eigenständigen HTTP-Besuch unter diesem Namen |
Diese Matrix ist keine vollständige Liste aller Agenten. Beispielsweise führt OpenAI zusätzlich OAI-AdsBot für die Prüfung eingereichter Werbeseiten auf. Unbekannte Namen gehören zunächst in „nicht zugeordnet“, statt automatisch als Trainingscrawler gezählt zu werden.
Für einen Logeintrag zwei Prüfungen durchführen
Zuerst prüfst du die Identität. Ein User-Agent lässt sich kopieren. Ordne die beobachtete Quelladresse mit dem aktuell dokumentierten Prüfverfahren zu, soweit der jeweilige Anbieter eines bereitstellt. OpenAI verlinkt agentenspezifische IP-Listen; Anthropic verlinkt eine öffentliche Liste seiner Bot-Adressen.
Eine Übereinstimmung mit einer Anbieteradresse beantwortet die Herkunftsfrage innerhalb dieses Verfahrens. Sie ersetzt nicht die Zuordnung zum gewünschten Zweck und beweist keinen Trainingsvorgang. Halte fest, welche Liste mit welchem Stand geprüft wurde. Eine allgemeine Cloud-Provider-Adresse ist kein gleichwertiger Nachweis.
Danach prüfst du die Antwort. Welche URL wurde angefordert? Hat das CDN eine Sicherheitsseite geliefert, WordPress einen Login oder der Ursprung den vorgesehenen Artikel? Status, Inhaltstyp und gegebenenfalls eine bereinigte Stichprobe des Bodys gehören zusammen. Ein 200 allein beantwortet diese Frage nicht.
Bei diesem Crawling kann die entscheidende Beobachtung am vorgeschalteten Dienst liegen. Ein fehlender Ursprungseintrag beweist keinen unterbliebenen Abruf, wenn das CDN aus dem Cache antwortet oder vorher blockiert. Notiere, welche Logebene und welchen Zeitraum du überhaupt vollständig sehen kannst.
Ein hypothetischer Abnahmefall für öffentliche Dokumentation
Ein fiktiver Softwareanbieter möchte seine öffentliche API-Anleitung für Suchfunktionen zugänglich halten und mögliches Training ausschließen. Kontoseiten sollen nur nach Anmeldung erreichbar sein. Die erfundene URL lautet https://example.com/docs/public-api; der private Bereich liegt unter /account/.
Das Team dokumentiert zunächst die beabsichtigte Entscheidung je Anbieter. Danach plant es die folgenden Prüffälle. Keine der Zeilen ist ein Ergebnis eines ausgeführten Versuchs.
| Geplanter Fall | Zu sichernder Nachweis | Grenze der Aussage |
|---|---|---|
| Suchbot fragt die öffentliche Anleitung an | Passende Policy, geprüfte Herkunft und tatsächliche Inhaltsantwort | Kein Beleg einer späteren Auswahl als Quelle |
| Trainingsbot wird für die Anleitung ausgeschlossen | Erreichbare Policy und die dazugehörige Anbieterregel | Keine rückwirkende Löschung bereits erhobener Inhalte bewiesen |
| Nutzerbezogener Abruf der Anleitung | Anbieterabhängige Regel und beobachtete Antwort | Kein Nachweis einer bestimmten Nutzeridentität aus dem Bot-Namen |
Nicht angemeldeter Aufruf von /account/ | Zugangskontrolle liefert keine privaten Kontoinhalte | robots.txt übernimmt diese Schutzfunktion nicht |
Für den privaten Bereich gilt eine andere technische Anforderung als für öffentliche Suchsichtbarkeit. Der Robots-Standard stellt klar, dass seine Regeln keine Zugangsberechtigung sind. Eine dort genannte Sperre ersetzt keine Anmeldung oder serverseitige Zugriffskontrolle.
Die Policy sollte außerdem nach Inhaltstyp unterscheiden. Eine öffentliche Anleitung, eine Produktpreisseite und ein persönlicher Kontobereich brauchen nicht denselben Test. Prüfe den tatsächlichen Inhalt einer Antwort, bevor du ihre Erreichbarkeit als gewünschten Erfolg meldest.
Ein eigener User-Agent-Test prüft nicht die Bot-Entscheidung
Ein Abruf mit selbst gesetztem OAI-SearchBot-Header kann zeigen, welche Antwort dein Server für diese Zeichenfolge auswählt. Er beweist keinen Besuch von OpenAI. Ein gewöhnlicher HTTP-Client folgt auch nicht automatisch eurer robots.txt, nur weil du seinen User-Agent umbenennst.
Erhält ein solcher lokaler Test trotz Disallow einen Artikel, ist damit keine Missachtung durch den echten Anbieter belegt. Du hast zunächst einen selbst ausgelösten HTTP-Abruf beobachtet. Prüfe die Regelauswertung gesondert und halte die künstlichen Testaufrufe aus der Zählung vermeintlicher Anbieterbesuche heraus.
Diese Trennung hilft auch bei der Retrieval-Augmented Generation. Ein System kann verfügbare Quellen abrufen und anschließend auswählen oder verwerfen. Der erfolgreiche Dateitransfer ist nur ein Teil dieses Ablaufs. Ein Log sieht üblicherweise nicht die spätere Antwortgenerierung im fremden System.
Gewünschte Regeln und offene Nachweise unterschiedlich speichern
Für die fiktive Dokumentation kann ein einzelner Eintrag so aussehen. Die englischen Feldnamen sind ein Vorschlag für ein eigenes Prüfprotokoll, kein Format eines Anbieters. Die Werte halten ausdrücklich einen noch nicht geprüften Zustand fest:
json{
"provider": "OpenAI",
"documented_role": "search",
"policy_token": "OAI-SearchBot",
"scope": "https://example.com/docs/",
"desired_policy": "allow",
"identity_check": "not_observed",
"delivery_check": "not_run",
"source_selection": "not_observed"
}
Damit steht „erlauben“ ausschließlich für die beabsichtigte Policy. Es bedeutet noch nicht, dass der Anbieter kam oder die Seite bekam. Nach einer Prüfung aktualisierst du nur das Feld, für das ein Nachweis vorliegt, und verknüpfst den entsprechenden Beleg. Eine bestätigte Herkunft darf die offene Quellenauswahl nicht automatisch als erledigt markieren.
Führe für eine Trainingspräferenz einen eigenen Eintrag mit dem passenden Token. So lassen sich Änderungen vergleichen, ohne die Entscheidungen für Suche und Training in einem einzigen Schalter zu verstecken. Bewahre frühere Stände auf, wenn ein aktueller Logeintrag gegen eine ältere Regel geprüft werden muss.
Abweichungen mit dem nächsten passenden Test eingrenzen
Ein bekannter Name mit ungeklärter Herkunft bleibt zunächst eine behauptete Identität. Ein Abruf von einer plausiblen Anbieteradresse bei unerwarteter Antwort führt dagegen zur Prüfung von URL, Policy-Stand und Auslieferung. Das sind unterschiedliche Arbeitsaufträge.
Falls ein belegter Suchbot trotz gewünschter Freigabe eine Sperrseite erhält, untersuchst du die Zugriffsstrecke. Die fachliche Entscheidung für Suchzugriff muss deshalb nicht geändert werden. Liefert ein synthetischer Trainingsbot-Test trotz gewünschter Sperre einen Body, prüfst du zuerst die Art des Tests und die Regelauswertung.
Gibt es gar keine Treffer, benenne den beobachteten Zeitraum und die Logabdeckung. „Im ausgewerteten CDN-Log nicht beobachtet“ ist ein anderer Befund als „der Anbieter greift nie zu“. Diese Formulierung verhindert, dass ein fehlender Nachweis versehentlich als Erfolg oder Verstoß in die Übergabe gelangt.
Aus der Policy eine prüfbare Übergabe machen
Lege pro Regel den betroffenen Host und Pfad, den dokumentierten Zweck, das genaue Token, die gewünschte Entscheidung und eine zuständige Person fest. Ergänze das Prüfdatum und den erwarteten technischen Nachweis. Eine pauschale Notiz „KI gesperrt“ ist dafür zu unbestimmt.
Nach einer Veröffentlichung kontrollierst du dieselben Beispieladressen erneut. Bewahre den vorherigen Regelstand auf und kennzeichne eine Übergangsphase. OpenAI nennt für Suchbot-Änderungen ungefähr 24 Stunden zur Anpassung; das ist keine pauschale Frist für alle Anbieter, Caches und Produkte.
Bei einem größeren Umbau gehört diese Auswahl in die SEO-Relaunch-Prüfung. So bleibt sichtbar, ob eine neue Domain, ein zusätzlicher Host oder eine übernommene Standardkonfiguration die beabsichtigten Regeln verändert hat.
Das Site Audit ordnet technische Befunde nach betroffenen URLs und überprüfbaren Korrekturen. Für die konkrete Frage, ob ein unterstützter KI-Crawler eine Website abrufen kann, hilft zusätzlich der AI Crawler Checker. Ergänze für die Logauswertung trotzdem eure eigenen Anbieter-, Policy- und Belege zur ausgelieferten Antwort. Keines der Werkzeuge beweist die Identität eines beobachteten Bots oder eine spätere Inhaltsnutzung.
Für Generative Engine Optimization bleiben sichtbare Quellen und Suchergebnisse eigene Beobachtungen. Die Abnahme dieser Policy lautet zunächst präziser: Entscheidung dokumentiert, Regel geprüft, Herkunft soweit möglich bestätigt und tatsächliche Antwort bekannt. Welche Inhalte ein fremdes System anschließend auswählt, muss gesondert belegt werden.