Viele Website-Betreiber wollen KI-Crawler blockieren oder gezielt zulassen und stehen vor einer unübersichtlichen Liste von Bots. Die einen sperren pauschal alles, was nach KI klingt, und verschwinden damit aus KI-Antworten, in denen sie gern auftauchen würden. Die anderen lassen alles offen, obwohl sie ihre Inhalte eigentlich nicht für das Training von Modellen hergeben wollen. Beides lässt sich vermeiden, denn die großen Anbieter nutzen für verschiedene Zwecke verschiedene Bots.
Nach der Lektüre kannst du KI-Crawler nach ihrem Zweck unterscheiden, passende Regeln schreiben und prüfen, ob sie wirken.
Drei Zwecke, drei Arten von Bots
Bevor du eine Zeile in die robots.txt schreibst, hilft eine Unterscheidung. KI-Anbieter besuchen Websites aus drei verschiedenen Gründen:
- Training. Inhalte werden gesammelt, um künftige Sprachmodelle zu trainieren. Wer hier sperrt, gibt seine Texte nicht für das Training frei.
- Suche und Antworten. Inhalte werden für die Suchfunktion eines KI-Assistenten erfasst, ähnlich wie bei einer klassischen Suchmaschine. Wer hier sperrt, taucht in diesen Antworten nicht mehr als Quelle auf.
- Abruf im Auftrag eines Nutzers. Jemand bittet einen Assistenten, eine bestimmte Seite zu öffnen oder zusammenzufassen. Der Bot ruft die Seite dann einmalig ab, ähnlich wie ein Browser.
Für die meisten Unternehmen ist die zweite Gruppe die wichtigste, weil sie über die Sichtbarkeit in KI-Antworten entscheidet. Die erste Gruppe ist eine Grundsatzfrage zum Umgang mit den eigenen Inhalten.
Die wichtigsten KI-Crawler im Überblick
OpenAI nennt in seiner Übersicht der Bots drei relevante Agenten. GPTBot sammelt Inhalte für das Training von Modellen. OAI-SearchBot erfasst Seiten für die Suche in ChatGPT. OpenAI schreibt ausdrücklich, dass Seiten, die OAI-SearchBot ausschließen, nicht in den Suchantworten erscheinen. ChatGPT-User ruft Seiten ab, wenn Nutzer das in ChatGPT oder in einem GPT auslösen. Weil diese Abrufe von Nutzern ausgehen, gelten die Regeln der robots.txt dafür laut OpenAI möglicherweise nicht.
Anthropic trennt ebenfalls nach Zweck. ClaudeBot sammelt Inhalte für die Entwicklung der Modelle, Claude-SearchBot verbessert die Suchergebnisse und Claude-User ruft Seiten im Auftrag von Nutzern ab. Laut Anthropic respektieren die Bots die robots.txt. ClaudeBot unterstützt zusätzlich die Anweisung Crawl-delay.
Perplexity betreibt PerplexityBot für den eigenen Suchindex und Perplexity-User für Abrufe, die Nutzer auslösen.
Google ist ein Sonderfall. Google-Extended ist kein eigener Crawler, sondern ein Token in der robots.txt. Er steuert, ob Inhalte, die Google ohnehin crawlt, für das Training künftiger Gemini-Modelle und für Grounding in Gemini-Apps und Vertex AI genutzt werden dürfen. Die Aufnahme in die Google-Suche und das Ranking beeinflusst er laut Google nicht. AI Overviews und der KI-Modus sind Teil der Google-Suche und hängen am normalen Googlebot.
Daneben gibt es weitere Trainings-Crawler, etwa CCBot von Common Crawl, dessen Datensätze viele Modellanbieter nutzen, oder Applebot-Extended für die Nutzung von Inhalten durch Apple. Die Liste verändert sich regelmäßig. Prüfe vor jeder größeren Änderung die aktuellen Angaben der Anbieter.
Regeln schreiben: drei typische Varianten
Die richtige Konfiguration hängt davon ab, was du erreichen willst.
Variante 1: Alles erlauben. Für viele B2B-Unternehmen, Softwareanbieter und Dienstleister ist Sichtbarkeit in KI-Antworten ein Vorteil. Sie müssen nichts eintragen, solange keine allgemeine Sperre besteht.
Variante 2: Training sperren, KI-Suche erlauben. Das ist der häufigste Kompromiss für Verlage und Anbieter eigener Inhalte:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Variante 3: Einzelne Bereiche schützen. Wenn nur bestimmte Inhalte nicht in Trainingsdaten landen sollen, etwa Premium-Artikel, sperrst du nur diese Pfade für die Trainings-Crawler und lässt den Rest offen.
Achte bei allen Varianten darauf, dass Regeln für einzelne Bots nicht versehentlich den Googlebot betreffen. Eine Zeile „Disallow: /“ unter „User-agent: *“ sperrt alle Crawler, die keine eigene Gruppe haben, auch Suchmaschinen.
Was die robots.txt nicht kann
Die robots.txt ist eine Bitte, keine technische Sperre. Seriöse Anbieter halten sich daran, aber nicht jeder Crawler tut es. Wer Inhalte wirklich schützen will, braucht zusätzlich serverseitige Regeln oder einen Login.
Eine neue Regel wirkt außerdem nur für die Zukunft. Inhalte, die ein Anbieter bereits gesammelt hat, verschwinden dadurch nicht automatisch. Und sie wirkt nicht sofort: OpenAI nennt für OAI-SearchBot etwa 24 Stunden, bis eine Änderung berücksichtigt wird.
Auch für die Google-Suche ist die robots.txt das falsche Werkzeug, wenn du steuern willst, was in Snippets und KI-Antworten erscheint. Dafür gibt es Anweisungen wie nosnippet oder max-snippet auf Seitenebene. Eine Sperre für den Googlebot würde die Seite dagegen aus der Suche insgesamt herausnehmen.
Prüfen, ob die Regeln greifen
Nach jeder Änderung lohnt eine kurze Kontrolle in drei Schritten.
- Regeln testen. Prüfe für jeden relevanten Bot, ob er eine Beispiel-URL abrufen darf. Der kostenlose Robots.txt-Checker für KI-Crawler zeigt, welche KI- und Such-Crawler deine robots.txt zulässt oder blockiert und welche Regel jeweils greift.
- Serverlogs ansehen. In den Logs siehst du, welche Bots tatsächlich kommen. Anthropic und OpenAI veröffentlichen die IP-Bereiche ihrer Bots, damit du echte Besuche von gefälschten User-Agents unterscheiden kannst.
- Firewall und CDN prüfen. Viele CDNs bieten inzwischen eigene Schalter zum Blockieren von KI-Bots. Sie arbeiten unabhängig von der robots.txt. Wenn du in der robots.txt die KI-Suche erlaubst, der CDN-Schalter aber alle KI-Bots aussperrt, gewinnt der Schalter.
Welche Variante passt zu dir?
Eine allgemeingültige Antwort gibt es nicht. Diese Orientierung hilft bei der Entscheidung.
Online-Shops. Produktseiten profitieren davon, in KI-Antworten als Quelle aufzutauchen, etwa bei Kaufberatungen. Eine Sperre der Suchbots kostet hier eher Sichtbarkeit, als sie schützt. Ob du Training zulässt, ist eine Grundsatzfrage. Produktbeschreibungen sind selten der Teil deiner Inhalte, den du besonders schützen musst.
Softwareanbieter und Dienstleister. Wer erklärungsbedürftige Produkte verkauft, will in Antworten auf Fragen wie „Welches Tool eignet sich für …“ vorkommen. Für diese Gruppe ist Variante 1 oft die sinnvollste. Wichtiger als die robots.txt ist hier, dass Dokumentation, Preise und Vergleichsseiten crawlbar und klar strukturiert sind.
Verlage und Medien. Eigene Recherche ist das Produkt. Variante 2 schützt sie vor der Nutzung im Training, ohne auf die Reichweite über KI-Suchen zu verzichten. Manche Verlage sperren zusätzlich die Suchbots, weil sie Klicks statt Zusammenfassungen wollen. Das ist eine bewusste Abwägung zwischen Reichweite und Kontrolle.
Plattformen mit bezahlten Inhalten. Inhalte hinter einer Bezahlschranke sollten ohnehin nicht frei abrufbar sein. Die robots.txt ergänzt hier den technischen Schutz, ersetzt ihn aber nicht.
Häufige Fehler
- Pauschal alle Bots mit „KI“ im Namen sperren und damit die eigene Sichtbarkeit in der KI-Suche aufgeben.
- Google-Extended sperren in der Annahme, damit AI Overviews zu verhindern.
- Regeln nur in der robots.txt pflegen, während ein CDN-Schalter längst alle KI-Bots blockiert.
- User-Agent-Namen falsch schreiben. Die Namen müssen genau so eingetragen werden, wie der Anbieter sie dokumentiert.
- Die robots.txt nach einem Relaunch nicht prüfen und eine allgemeine Sperre aus der Testumgebung übernehmen.
KI-Crawler und klassische Crawlbarkeit gehören zusammen
Ein KI-Suchbot kann nur zitieren, was er abrufen und verstehen kann. Die gleichen Grundlagen wie beim klassischen Crawling gelten auch hier: erreichbare URLs, sauberer Statuscode, Inhalte im ausgelieferten HTML statt erst nach JavaScript, klare Struktur. Viele KI-Crawler führen kein JavaScript aus. Wenn dein Hauptinhalt erst im Browser entsteht, sehen sie womöglich eine leere Seite.
Wie KI-Systeme passende Quellen abrufen, erklärt das Glossar unter Retrieval-Augmented Generation. Was du tun kannst, damit deine Inhalte dabei ausgewählt werden, beschreibt der Eintrag zu Generative Engine Optimization.
Der Site Audit von Crawl Foundry zeigt für jede gecrawlte URL, ob sie durch die robots.txt blockiert ist, ob sie noindex trägt und ob sich der Inhalt ohne Rendering überhaupt erfassen lässt. So findest du auch Sperren, die nie beabsichtigt waren, etwa eine Regel aus der Staging-Umgebung, die mit dem letzten Relaunch live gegangen ist.
Training sperren und trotzdem in KI-Antworten erscheinen
Unterscheide bei KI-Crawlern zwischen Training, Suche und Abrufen im Auftrag von Nutzern. Wer Training sperren und trotzdem in KI-Antworten erscheinen will, sperrt GPTBot, ClaudeBot, Google-Extended und CCBot und lässt OAI-SearchBot, Claude-SearchBot und PerplexityBot zu. Prüfe danach Regeln, Logs und Firewall, denn die robots.txt ist nur so wirksam wie die Crawler, die sich an sie halten.
Entscheide als Erstes, welche der drei Varianten zu deinem Geschäftsmodell passt, und teste die Regeln danach mit einer Beispiel-URL.