Crawling

Kurz gesagt

Crawling ist der Prozess, bei dem Suchmaschinen-Bots wie Googlebot URLs entdecken und abrufen. Erst danach können Inhalte analysiert, gerendert, indexiert und später für Suchanfragen bewertet werden.

Für SEO ist Crawling die erste technische Voraussetzung. Eine Seite kann noch so hilfreich sein: Wenn Suchmaschinen sie nicht finden, nicht abrufen oder nicht richtig verarbeiten können, wird sie in der Suche kaum Wirkung entfalten.

Trenne mithilfe des technischen Audit-Ablaufs URL-Entdeckung, Abruf und spätere Indexierungsprüfung, statt sie als ein einziges Ergebnis zu behandeln.

Gleichzeitig ist Crawling nur der Anfang. Eine gecrawlte Seite ist nicht automatisch indexiert. Eine indexierte Seite rankt nicht automatisch gut. Crawling bedeutet zuerst nur: Der Suchmaschine ist ein Abruf gelungen oder sie hat versucht, die URL zu erreichen.

Einfach erklärt

Stell dir das Web wie eine riesige Stadt ohne zentrales Register vor. Es gibt neue Straßen, geschlossene Türen, Umleitungen, Sackgassen, Doppeltüren, private Räume und Plätze, die sich ständig verändern. Ein Suchmaschinen-Crawler ist wie ein sehr fleissiger Stadtplaner. Er folgt Wegen, liest Hinweise, schaut auf Schilder und prüft, welche Türen offen sind.

Diese Wege sind im Web vor allem Links und Sitemaps. Wenn Googlebot eine Seite abruft, findet er dort weitere Links. Diese können später ebenfalls in die Crawl-Warteschlange kommen. Sitemaps geben zusätzlich eine Liste von URLs, die der Website-Betreiber für wichtig hält.

Das klingt simpel, hat aber viele Konsequenzen. Wenn wichtige Seiten kaum verlinkt sind, wirken sie für Crawler abgelegen. Wenn unendlich viele Filter-URLs intern verlinkt sind, wirkt die Website wie ein Labyrinth. Wenn robots.txt wichtige Bereiche blockiert, kann Googlebot sie nicht abrufen. Wenn der Server oft Fehler liefert, wird Crawling unzuverlässig.

Gutes Crawling ist deshalb keine "Bot-Beschäftigung". Es ist die Grundlage dafür, dass gute Inhalte überhaupt eine faire Chance bekommen.

Crawling, Rendering, Indexing und Ranking

Crawling

Beim Crawling ruft ein Bot eine URL ab. Er prüft unter anderem, ob der Abruf erlaubt ist, ob der Server antwortet, welcher Statuscode zurückkommt und welche Inhalte oder Ressourcen erreichbar sind.

Rendering

Rendering bedeutet, dass Google die Seite ähnlich wie ein Browser verarbeitet, besonders wenn JavaScript beteiligt ist. Googlebot kann JavaScript rendern, aber Crawling und Rendering sind nicht dasselbe. Eine URL kann gecrawlt sein und trotzdem noch auf Rendering warten.

Indexing

Beim Indexing analysiert Google die Inhalte, erkennt Signale, Duplikate, Canonicals, strukturierte Daten und Relevanzhinweise. Danach entscheidet Google, ob und wie Informationen in den Index aufgenommen werden.

Ranking

Beim Ranking wird für eine konkrete Suchanfrage entschieden, welche indexierten Ergebnisse am besten passen. Ranking ist also viel später im Prozess.

Warum diese Trennung wichtig ist

Viele SEO-Fehler entstehen, weil diese Schritte vermischt werden. "Google hat gecrawlt" heißt nicht "Google hat indexiert". "Google hat indexiert" heißt nicht "Google findet die Seite hilfreich genug für Top-Positionen". Und "nicht indexiert" heißt nicht immer "nicht crawlbar".

Gute Diagnose fragt deshalb immer: Liegt das Problem beim Entdecken, beim Abrufen, beim Rendern, beim Indexieren oder beim Ranking?

Wie Suchmaschinen URLs entdecken

Interne Links

Interne Links sind der wichtigste Weg innerhalb einer Website. Googlebot entdeckt neue URLs vor allem über Links aus bereits gecrawlten Seiten. Deshalb ist interne Verlinkung nicht nur UX, sondern technische Auffindbarkeit.

Wichtige Seiten sollten nicht nur in einer XML-Sitemap stehen. Sie sollten auch logisch im Website-Aufbau erreichbar sein: über Navigation, Kategorien, Hub-Seiten, Breadcrumbs, verwandte Inhalte oder kontextuelle Links.

Externe Links

Externe Links können Crawler ebenfalls auf URLs führen. Das ist hilfreich, aber keine stabile Grundlage für Website-Architektur. Eine Website sollte ihre wichtigen Seiten selbst klar erschließen, statt auf externe Zufallsfunde zu hoffen.

XML-Sitemaps

Sitemaps helfen Suchmaschinen, neue oder aktualisierte URLs zu entdecken. Sie sind besonders nützlich für große Websites, neue Websites, Websites mit wenigen externen Links, Medieninhalte, News-Bereiche oder komplexe Strukturen.

Eine Sitemap ist aber keine Garantie. Google kann URLs aus einer Sitemap crawlen, ignorieren, später crawlen oder nicht indexieren. Die Sitemap ist ein Hinweis, kein Befehl.

Bereits bekannte URLs

Suchmaschinen besuchen bekannte URLs erneut. Wie oft das geschieht, hängt unter anderem davon ab, wie wichtig eine URL wirkt, wie oft sie sich ändert, wie sauber der Server antwortet und wie groß oder komplex die Website ist.

Was Crawling erleichtert

Crawlbare Links

Links sollten für Suchmaschinen als echte Links erkennbar sein. Wenn wichtige Inhalte nur über Formulare, komplexe JavaScript-Aktionen, nicht verlinkte Tabs oder interne Suchfunktionen erreichbar sind, wird Discovery schwieriger.

Ein guter interner Link sagt nicht nur "hier klicken". Er gibt Kontext. Menschen und Suchmaschinen verstehen besser, wohin ein Link führt, wenn Anchor Text und Umgebung sinnvoll sind.

Saubere Statuscodes

Statuscodes sind für Crawler klare Signale. Ein 200-Status sagt: Inhalt ist erreichbar. 301 und 308 signalisieren dauerhafte Weiterleitung. 302 und 307 sind temporäre Weiterleitungen. 404 und 410 sagen, dass Inhalt nicht vorhanden ist. 5xx-Fehler zeigen Serverprobleme.

Einzelne 404s sind normal. Kritisch wird es, wenn wichtige Seiten falsche Statuscodes liefern, Weiterleitungsketten entstehen oder Serverfehler regelmäßig auftreten.

Stabile Server

Google versucht, Websites nicht zu überlasten. Wenn ein Server langsam, instabil oder häufig fehlerhaft antwortet, kann Crawling vorsichtiger werden. Für große Websites ist Servergesundheit deshalb ein SEO-Thema.

Sinnvolle URL-Struktur

Klare URLs helfen Crawlern, Muster zu verstehen. Endlose Parameter, Sortierungen, Session-IDs, Kalender-Archive, Filterkombinationen und interne Suchseiten können Crawling stark aufblasen.

Es geht nicht darum, jede URL kurz oder "schön" zu machen. Es geht darum, dass wichtige URLs stabil, eindeutig und intern verständlich sind.

Aktuelle Sitemaps

Eine gute Sitemap enthält kanonische, indexierbare, wichtige URLs. Sie sollte keine massenhaften Weiterleitungen, 404s, noindex-Seiten, Duplikate oder unwichtige Parameter-Varianten enthalten.

Lesbares Rendering

Google kann JavaScript verarbeiten, aber wichtige Inhalte sollten nicht unnötig spät, versteckt oder nur nach Nutzerinteraktion erscheinen. Besonders kritisch sind Hauptcontent, interne Links, Canonicals, Meta Robots, strukturierte Daten und hreflang-Signale.

Was Crawling blockiert oder verschwendet

robots.txt

robots.txt steuert, welche Pfade Crawler abrufen dürfen. Sie ist gut, um Crawl-Traffic zu managen oder unwichtige Bereiche vom Abruf auszuschließen.

Sie ist aber kein Sicherheitswerkzeug. Wenn eine vertrauliche Seite nicht öffentlich sein soll, braucht sie Zugriffsschutz. Und robots.txt ist auch kein sauberer noindex-Ersatz. Eine per robots.txt blockierte URL kann unter bestimmten Umständen trotzdem als URL in Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken, nur ohne brauchbares Snippet.

noindex hinter robots.txt

Ein häufiger Fehler: Eine Seite wird in robots.txt blockiert und bekommt gleichzeitig ein noindex. Das wirkt logisch, kann aber scheitern. Wenn Googlebot die Seite wegen robots.txt nicht abrufen darf, kann er das noindex nicht sehen.

Wenn eine Seite aus dem Index heraus soll, muss Google den noindex-Hinweis crawlen können. Wenn eine Seite geheim ist, ist noindex nicht genug; dann braucht sie Zugriffsschutz.

Duplikate und Canonicals

Duplikate können Crawl-Zeit verschwenden. Canonicals helfen Google, ähnliche oder doppelte URLs zusammenzuführen. Aber Canonicals sind kein Ersatz für eine klare URL-Architektur.

Wenn Millionen unwichtiger Filtervarianten intern verlinkt sind, ist ein Canonical auf jeder Variante besser als nichts, aber nicht die ganze Lösung. Besser ist, Discovery, interne Links, Sitemaps, Parameterlogik und Canonicals gemeinsam zu steuern.

Weiterleitungsketten

Weiterleitungen sind normal, besonders nach Relaunches. Aber lange Ketten und Schleifen verschwenden Crawling und verlangsamen Diagnose. Wichtige interne Links sollten möglichst direkt auf die finale kanonische URL zeigen.

Crawl-Budget ohne Panik

Crawl-Budget beschreibt vereinfacht, wie viel Crawling eine Suchmaschine einer Website widmet. Das Thema ist real, aber nicht für jede Website gleich wichtig.

Für kleine und mittlere Websites ist Crawl-Budget oft kein Engpass. Wenn neue oder geänderte Seiten zeitnah gecrawlt werden, sind aktuelle Sitemaps, saubere interne Links und regelmäßige Indexierungsprüfung meist wichtiger als komplizierte Budget-Debatten.

Wichtig wird Crawl-Budget vor allem bei sehr großen Websites, großen Shops, News-Portalen, Marktplatzen, Websites mit vielen automatisch erzeugten URLs oder Seiten, die sich sehr häufig ändern.

Typische Crawl-Budget-Probleme sind:

• Viele Filter- und Parameter-URLs ohne echten Mehrwert.
• Sitemaps mit unwichtigen oder nicht indexierbaren URLs.
• Interne Links auf Weiterleitungen, 404s oder alte Varianten.
• Serverfehler und langsame Antwortzeiten.
• Duplikate, die ständig neu entdeckt werden.
• Kalender, Sortierungen oder Suchseiten mit unendlichen URL-Räumen.

Die Lösung ist selten "Google soll mehr crawlen". Die bessere Lösung ist: Die Website macht klarer, welche URLs wirklich wichtig sind.

Wie du Crawling prüfst

Google Search Console

Search Console zeigt Page Indexing, Sitemaps, URL Inspection und Hinweise zu Crawling-Problemen. Damit siehst du, ob Google eine URL kennt, ob Crawling erlaubt ist, welcher Indexierungsstatus gemeldet wird und ob Sitemaps sauber gelesen werden.

URL Inspection

URL Inspection ist für einzelne wichtige Seiten ideal. Du kannst prüfen, ob Google die URL kennt, was zur indexierten Version gemeldet wird und ob ein Live-Abruf möglich erscheint.

Server-Logs

Server-Logs zeigen, was Bots wirklich angefragt haben. Für große Websites sind Logs oft der Unterschied zwischen Vermutung und Beleg. Sie zeigen, ob Googlebot wichtige Seiten besucht, ob er sich in Parameterräumen verliert und welche Statuscodes er tatsächlich bekommt.

Eigene Site-Crawls

SEO-Crawler simulieren die interne Erreichbarkeit einer Website. Sie finden kaputte Links, Weiterleitungsketten, tiefe Klickpfade, fehlende Canonicals, noindex-Seiten in Sitemaps und Duplikatmuster.

Solche Tools zeigen nicht exakt, was Google tut. Sie zeigen, was deine Website Crawlern anbietet.

Praktisches Beispiel

Ein Online-Shop hat 40.000 Produktseiten, aber durch Filter, Sortierungen und Parameter entstehen Millionen erreichbare URLs. Googlebot findet ständig neue Varianten, während wichtige Kategorien und Bestseller nicht so regelmäßig gecrawlt werden, wie das Team erwartet.

Das Team prüft die Lage ruhig:

• Welche URL-Typen stehen in der Sitemap?
• Welche Varianten sind intern verlinkt?
• Welche Parameter werden durch Navigation erzeugt?
• Welche Seiten liefern 200, 3xx, 4xx oder 5xx?
• Welche URLs bekommen Googlebot-Traffic in den Logs?
• Welche Seiten sind wichtig für Nutzer, Umsatz und SEO?

Danach werden Sitemaps bereinigt, interne Links auf kanonische Seiten ausgerichtet, unwichtige Filterpfade reduziert, Weiterleitungsketten entfernt und wichtige Kategorien besser verlinkt.

Das Ziel ist nicht mehr Crawling um jeden Preis. Das Ziel ist klareres Crawling: Suchmaschinen sollen schneller zu den Seiten gelangen, die für Nutzer und Geschäft zählen.

Typische Fehler

• Crawling, Indexierung und Ranking vermischen.
• robots.txt als Schutz für private Inhalte verwenden.
• noindex auf Seiten setzen, die per robots.txt blockiert sind.
• Wichtige Seiten nur über Formulare, Suchfunktionen oder nicht crawlbare Klicks erreichbar machen.
• Sitemaps mit Weiterleitungen, noindex, 404s oder Duplikaten füllen.
• Endlose Filter- und Parameter-URLs intern verlinken.
• JavaScript so bauen, dass wichtige Inhalte und Links spät oder gar nicht sichtbar werden.
• Serverfehler und Timeouts als rein technische Nebensache behandeln.
• Canonicals als Ersatz für saubere Architektur missverstehen.
• Crawl-Budget bei kleinen Websites dramatisieren und echte Probleme übersehen.

Mini-Workflow

1. Definiere die URL-Gruppen, die für Nutzer und SEO wirklich wichtig sind. 2. Prüfe, ob diese URLs intern klar verlinkt sind. 3. Kontrolliere Statuscodes, Weiterleitungen und Blockierungen. 4. Vergleiche Sitemaps mit den tatsächlich wichtigen kanonischen URLs. 5. Prüfe robots.txt und noindex getrennt. 6. Nutze URL Inspection für einzelne Prioritätsseiten. 7. Nutze Site-Crawler für interne Erreichbarkeit und technische Muster. 8. Nutze Server-Logs, wenn die Website groß oder Crawl-Budget-relevant ist. 9. Entferne Crawl-Ablenkungen, statt nur mehr URLs einzureichen. 10. Beobachte Crawling, Indexierung und Performance getrennt.

Mit Crawl Foundry anwenden

Der Site Audit von Crawl Foundry verbindet Crawl-Ergebnisse, interne Links und technische Befunde. Prüfe betroffene URLs und priorisiere die nötigen Korrekturen.

Site Audit ansehen

Verwandte Begriffe

Diese Begriffe passen als nächste Leseschritte:

• indexing
• crawl-budget
• robots-txt
• xml-sitemap
• internal-linking
• canonical-url

Quellen für den Review

• Google Search Central: How Google Search works
• Google Search Central: Crawling and indexing overview
• Google Search Central: What is Googlebot
• Google Search Central: Introduction to robots.txt
• Google Search Central: Block indexing with noindex
• Google Search Central: Sitemaps overview
• Google Search Central: Link best practices
• Google Search Central: JavaScript SEO basics
• Google Crawling Infrastructure: Crawl budget management
• Google Search Central: Troubleshoot crawling errors