Crawl Budget

Kurz gesagt

Crawl Budget beschreibt, wie viel Zeit und Ressourcen Googlebot für das Crawling einer Website aufwendet. Es wird vor allem bei sehr großen, häufig aktualisierten oder technisch verrauschten Websites wichtig.

Einfach erklärt

Google kann nicht jede URL im Web ständig neu besuchen. Deshalb muss Googlebot priorisieren: Welche Seiten sind wichtig, welche haben sich geändert, welche lassen sich schnell abrufen, und welche URL-Muster verschwenden Zeit?

Identifiziere mit dem technischen Audit-Ablauf zuerst unnötige URL-Varianten, bevor du ein größeres Crawl-Budget als Lösung ansiehst.

Für kleine Websites ist Crawl Budget meistens kein echtes Problem. Wenn neue Seiten am selben Tag oder zeitnah gecrawlt werden und die Website nur wenige hundert oder ein paar tausend saubere URLs hat, reicht oft eine aktuelle Sitemap und solide technische Hygiene.

Bei großen Shops, Marktplätzen, Publishern, SaaS-Dokumentationen oder Websites mit vielen Filtern kann es anders aussehen. Dann kann Googlebot viel Zeit mit Parameter-URLs, Duplikaten, Fehlerseiten, alten Redirects oder langsam ladenden Ressourcen verbringen, während wichtige neue Seiten später entdeckt werden.

Crawl Capacity und Crawl Demand

Crawl Capacity

Crawl Capacity beschreibt, wie viel Crawling eine Website technisch verkraftet. Wenn der Server schnell und stabil antwortet, kann Googlebot mehr abrufen. Wenn viele 5xx-Fehler, Timeouts oder sehr langsame Antworten auftreten, wird Crawling vorsichtiger.

Crawl Demand

Crawl Demand beschreibt, wie groß Googles Interesse an bestimmten URLs ist. Beliebte, wichtige oder häufig aktualisierte Seiten werden eher erneut gecrawlt als alte, schwache oder kaum verlinkte Seiten.

Crawl Budget als Zusammenspiel

Crawl Budget ist also kein fester Kontostand. Es entsteht aus Kapazität und Nachfrage. Eine Website kann technisch stark sein, aber wenig Nachfrage erzeugen. Oder sie kann viel Nachfrage haben, aber Googlebot durch schlechte Performance bremsen.

Wann Crawl Budget wirklich wichtig wird

Crawl Budget ist vor allem relevant, wenn die Website viele URLs hat oder sich Inhalte sehr häufig ändern. Beispiele: große E-Commerce-Shops, Kleinanzeigenportale, Reiseplattformen, News-Websites, Dokumentationsportale oder internationale Websites mit vielen Sprach- und Filtervarianten.

Typische Warnzeichen sind: wichtige neue Seiten werden spät gecrawlt, Crawl Stats zeigen viele Anfragen auf unwichtige URL-Muster, Serverfehler steigen, Parameter-URLs dominieren, oder die Sitemap enthält viele URLs, die nicht indexierbar sind.

Wenn eine Website klein ist und Google neue Inhalte schnell findet, sollte man Crawl Budget nicht dramatisieren. Dann sind Content-Qualität, interne Links, Indexierbarkeit und Seitentempo meistens wichtiger.

Was Crawl Budget verschwendet

Duplicate Content

Wenn viele URLs denselben Inhalt zeigen, muss Googlebot Varianten prüfen, vergleichen und canonicalisieren. Das kann bei großen Websites Crawling verlangsamen.

Facettierte Navigation

Filter für Farbe, Größe, Preis, Bewertung, Standort oder Marke können unendlich viele URL-Kombinationen erzeugen. Nutzer lieben Filter, Googlebot braucht klare Grenzen.

Fehlerseiten und Soft 404

404, 5xx, leere Suchergebnisse und Seiten, die wie Fehlerseiten aussehen, aber 200 liefern, verbrauchen Crawling und liefern wenig Wert.

Redirect-Ketten

Ein Redirect ist normal. Lange Ketten sind unnötig. Sie verlangsamen Crawling und machen Signale unsauber.

Langsame Serverantworten

Wenn der Server langsam reagiert oder instabil ist, kann Googlebot weniger effizient crawlen. Crawl Budget ist deshalb auch ein Performance-Thema.

Unwichtige, indexierbare Seiten

Interne Suchseiten, Tag-Archive, Sortierungen, Tracking-Parameter und alte Kampagnenseiten können Crawling aufblähen, wenn sie intern verlinkt und indexierbar sind.

Wie man Crawl Budget verbessert

Sitemaps sauber halten

Sitemaps sollten nur wichtige, kanonische und indexierbare URLs enthalten. Wenn eine Sitemap alte Redirects, noindex-Seiten oder Parameter-URLs enthält, sendet sie schlechte Prioritätssignale.

Interne Links priorisieren

Googlebot folgt Links. Wichtige Seiten sollten intern erreichbar sein, nicht nur in einer Sitemap stehen. Je klarer die interne Struktur, desto leichter wird Priorisierung.

Duplikate konsolidieren

Canonical Tags, Redirects und konsistente interne Links helfen, unwichtige Varianten zu reduzieren. Bei großen Mustern ist Konsolidierung oft wirkungsvoller als einzelne URL-Fixes.

Crawl-Fallen begrenzen

Filter, Kalender, interne Suche und sortierbare Tabellen brauchen klare Regeln. Manche Kombinationen sollten nicht indexierbar sein, andere vielleicht gar nicht crawlbar, wenn sie keinen Suchwert haben.

Server und Rendering stabil halten

Schnelle Antworten, wenige 5xx-Fehler, saubere HTML-Ausgabe und stabile Ressourcen helfen Googlebot. Wenn Rendering kompliziert ist, sollte der wichtigste Inhalt trotzdem verlässlich erreichbar sein.

Robots.txt, Noindex und Canonical

Robots.txt kann Crawling verhindern, aber nicht immer Indexierung bereinigen. Wenn Google eine URL nicht crawlen darf, kann Google auch keinen Canonical auf der Seite sehen. Noindex erfordert, dass Google die Seite crawlen kann. Canonical braucht ebenfalls Crawling.

Deshalb ist die Wahl wichtig: Robots.txt für echte Crawl-Fallen, Noindex für Seiten, die erreichbar aber nicht indexiert werden sollen, Canonical für ähnliche Varianten mit bevorzugter Hauptseite und Redirect für ersetzte URLs.

Crawl Stats in Search Console

Der Crawl Stats Report zeigt, wie Googlebot eine Website crawlt: Anzahl der Anfragen, Antwortcodes, Dateitypen, Downloadgröße, durchschnittliche Antwortzeit und Host-Probleme. Er ist besonders hilfreich, wenn technische Änderungen oder Serverprobleme Crawling beeinflussen.

Wichtig ist, nicht nur auf Gesamtzahlen zu schauen. Mehr Crawling ist nicht automatisch besser. Gute Diagnose fragt: Crawlt Google die richtigen Bereiche? Gehen viele Requests in Fehler, Parameter oder alte URLs? Wird der Server langsamer? Ändert sich Crawling nach einem Relaunch?

Praxisbeispiel

Ein Shop hat 80.000 Produkt- und Kategorieseiten. Durch Filter entstehen aber mehr als zwei Millionen URL-Varianten. Die Sitemap enthält auch alte Sortierparameter, einige Kategorien leiten über zwei Redirects weiter, und Crawl Stats zeigen viele Anfragen auf URLs ohne Suchwert.

Das Team priorisiert: Sitemap bereinigen, interne Links auf kanonische Kategorien setzen, Filterregeln definieren, Redirect-Ketten entfernen, 5xx-Fehler beheben und wichtige Produktseiten besser intern verlinken.

Nach einigen Wochen zeigen Crawl Stats weniger Requests auf unwichtige Muster, weniger Fehler und schnellere Reaktionen. Wichtige neue Produktseiten werden früher gecrawlt.

Messung

Miss Crawl-Budget-Arbeit nicht nur an mehr Crawl Requests. Gute Signale sind: weniger Crawling auf unwichtige Muster, weniger 5xx/404, niedrigere Antwortzeiten, saubere Sitemap-Abdeckung, schnellere Entdeckung wichtiger Seiten und stabilere Indexierung.

Setze vorher eine Ausgangslage. Sonst ist schwer zu erkennen, ob eine Verbesserung vom Fix kommt oder nur von normalem Crawling-Verhalten.

Priorisierung nach Seitentyp

Ein guter Crawl-Budget-Audit beginnt nicht mit der Frage: "Was können wir blockieren?" Besser ist: "Welche Seiten sollen Google am schnellsten verstehen?" Für einen Shop sind das meist Kategorien, wichtige Produktseiten, Ratgeber und starke Marken- oder Themen-Hubs. Für ein Magazin sind es aktuelle Artikel, Evergreen-Guides und relevante Archivseiten. Für SaaS-Websites sind es Produktseiten, Dokumentation, Integrationsseiten und Lösungsseiten.

Danach schaut man auf die Gegenseite: Welche URL-Muster brauchen Nutzer vielleicht kurzfristig, haben aber kaum Suchwert? Dazu gehören Sortierungen, interne Suchergebnisse, Session-Parameter, Kalenderkombinationen, sehr dünne Tag-Seiten oder Filtervarianten ohne Nachfrage. Diese Muster sollten nicht einfach blind gelöscht werden. Man entscheidet pro Muster, ob Canonical, Noindex, robots.txt, interne Linkbereinigung oder ein Redirect die sauberste Lösung ist.

Eine hilfreiche Faustregel: Wenn eine URL keine eigenständige Suchintention bedient, keinen einzigartigen Inhalt hat und nicht strategisch intern verlinkt werden sollte, verdient sie wahrscheinlich keine starke Crawl-Priorität.

Häufige Fehler

• Crawl Budget auf kleinen Websites überbewerten.
• Mehr Crawling automatisch als Erfolg sehen.
• Parameter- und Filter-URLs unkontrolliert crawlbar lassen.
• Noindex, Robots.txt und Canonical verwechseln.
• Sitemaps mit nicht-kanonischen URLs füllen.
• Redirect-Ketten und 5xx-Fehler ignorieren.
• Crawl Stats ohne Segmentierung interpretieren.
• Content-Qualität vernachlässigen und nur technische Sperren setzen.

Mini-Workflow

1. Kläre, ob Crawl Budget für die Website überhaupt relevant ist. 2. Prüfe Crawl Stats, Sitemaps, Logfiles und Indexierungsberichte. 3. Identifiziere URL-Muster mit wenig Suchwert. 4. Bereinige Sitemaps und interne Links. 5. Konsolidiere Duplikate und entferne Redirect-Ketten. 6. Stabilisiere Serverantworten und behebe Fehlercodes. 7. Miss nach mehreren Wochen, ob wichtige Seiten schneller und sauberer gecrawlt werden.

Mit Crawl Foundry anwenden

Der Site Audit von Crawl Foundry verbindet Crawl-Ergebnisse, interne Links und technische Befunde. Prüfe betroffene URLs und priorisiere die nötigen Korrekturen.

Site Audit ansehen

Verwandte Begriffe

• crawling
• indexing
• xml-sitemap
• robots-txt
• duplicate-content
• page-speed

Quellen und weiterführende Ressourcen

• Google Search Central: Optimize your crawl budget
• Google Search Central: Managing crawling of faceted navigation URLs
• Search Console Help: Crawl Stats report
• Google Search Central Blog: Crawl Stats report
• Google Search Central: Sitemaps
• Google Search Central: Robots.txt introduction
• Google Search Central: Redirects and Google Search