Im Bericht zur Seitenindexierung der Search Console steht bei vielen Websites eine lange Liste unter „Gecrawlt - zurzeit nicht indexiert“. Der Status klingt nach einem technischen Fehler, ist aber keiner. Google hat die Seite abgerufen, sie sich angesehen und entschieden, sie vorerst nicht in den Index aufzunehmen. Die Frage ist also nicht, wie du Google zum Crawlen bringst. Die Frage ist, warum Google die Seite nach dem Besuch nicht haben wollte, und ob du das ändern solltest.
Nach der Lektüre kannst du betroffene URLs in Gruppen sortieren, die Ursache pro Seitengruppe bestimmen und für jede Gruppe eine klare Entscheidung treffen.
Was der Status bedeutet und was nicht
Google beschreibt den Status knapp: Die Seite wurde gecrawlt, aber nicht indexiert. Sie kann in Zukunft indexiert werden oder auch nicht, und ein erneutes Einreichen ist nicht nötig. So steht es in der Hilfe zum Bericht über die Seitenindexierung.
Zwei Dinge folgen daraus. Erstens ist das Crawling abgeschlossen. Robots.txt, Serverfehler oder eine blockierte URL sind hier meist nicht die Erklärung, sonst stünde die Seite unter einem anderen Grund. Zweitens hat Google eine Bewertung vorgenommen. Die Indexierung ist keine Pflicht, die jede erreichbare URL erfüllt. Google garantiert ausdrücklich nicht, dass alle Seiten einer Website in den Index gelangen.
Und was bedeutet „Gefunden - zurzeit nicht indexiert“?
Der zweite Status in derselben Liste sieht ähnlich aus, hat aber eine andere Ursache. Google kennt die URL, etwa aus der Sitemap oder über einen Link, hat sie aber noch nicht abgerufen. Laut Google wurde der Crawl in der Regel verschoben, weil er die Website sonst überlastet hätte.
Bei kleinen Websites verschwindet dieser Status oft von selbst. Bleibt er über Wochen bestehen oder betrifft er viele Seiten, lohnt ein Blick auf vier Punkte:
- Zu viele unwichtige URLs. Filter, Parameter und automatisch erzeugte Seiten verbrauchen Crawling-Kapazität, die wichtigen Seiten dann fehlt. Mehr dazu im Glossar unter Crawl-Budget.
- Langsame Serverantworten. Wenn der Server unter Last langsam antwortet, crawlt Google vorsichtiger.
- Schwache interne Verlinkung. Seiten, die nur in der Sitemap stehen, haben für Google wenig Priorität.
- Eine unaufgeräumte Sitemap. Enthält sie weitergeleitete, fehlerhafte oder unwichtige URLs, verliert sie als Signal an Wert.
Bei „Gefunden“ geht es also um Priorität und Kapazität beim Crawlen. Bei „Gecrawlt“ geht es um die Bewertung der Seite selbst. Der Rest dieses Leitfadens behandelt vor allem den zweiten Fall.
Zuerst sortieren: Ist das überhaupt ein Problem?
Bevor du irgendetwas änderst, sieh dir an, welche URLs betroffen sind. Oft ist ein großer Teil davon genau richtig außerhalb des Index:
- URLs mit Parametern aus Filtern, Sortierungen oder Tracking
- paginierte Archivseiten und dünne Tag- oder Autorenseiten
- interne Suchergebnisseiten
- Feeds, Druckversionen und ähnliche technische Varianten
Solche Seiten müssen nicht ranken. Wenn Google sie nicht indexiert, ist das eher ein Zeichen, dass die Bewertung funktioniert.
Kritisch wird es erst bei URLs, die du selbst für wichtig hältst: Produkt- und Kategorieseiten, Ratgeber, Landingpages, neue Artikel. Beachte dabei, dass die Liste im Bericht auf 1.000 Zeilen begrenzt ist und nicht zwingend alle betroffenen URLs zeigt. Bei größeren Websites ist sie eine Stichprobe, keine Vollständigkeitsprüfung.
Exportiere die Liste und ordne jede URL einer Gruppe zu, am besten nach Verzeichnis oder Seitentyp. Aus dreihundert einzelnen URLs werden so fünf oder sechs Gruppen, und für jede Gruppe triffst du später eine Entscheidung. Einzelne URLs zu reparieren kostet Zeit und löst selten die eigentliche Ursache.
Die häufigsten Ursachen
Google nennt keine Begründung pro URL. Die Ursache musst du aus dem Muster ableiten. In der Praxis landen betroffene Seitengruppen fast immer in einer von fünf Kategorien.
Der Inhalt bietet zu wenig Eigenes. Seiten mit wenig Text, reinen Produktlisten ohne Kontext, automatisch erzeugten Beschreibungen oder Inhalten, die es auf der Website schon besser gibt, fallen hier auf. Man spricht dann von dünnem Content. Entscheidend ist nicht die Wortzahl, sondern ob die Seite eine Suchanfrage besser beantwortet als die Seiten, die bereits im Index sind.
Die Seite ähnelt einer anderen zu stark. Varianten derselben Produktseite, Standortseiten mit ausgetauschtem Ortsnamen oder zwei Artikel zum gleichen Thema erzeugen Duplicate Content. Google wählt dann eine Version und lässt die andere liegen. Prüfe in der URL-Prüfung, welche kanonische URL Google gewählt hat und ob sie mit deiner Angabe im Canonical-Tag übereinstimmt.
Die Seite ist intern schlecht angebunden. Eine URL, die nur über die XML-Sitemap oder über tief verschachtelte Archivseiten erreichbar ist, wirkt für Google unwichtig. Wenige interne Links, eine hohe Klicktiefe und fehlende Links aus thematisch passenden Seiten sind ein häufiges Muster. Mehr zur Logik dahinter steht im Glossar unter interne Verlinkung.
Die technischen Signale widersprechen sich. Eine Seite steht in der Sitemap, verweist aber per Canonical auf eine andere URL. Oder sie war eine Zeit lang auf noindex gesetzt. Oder der Hauptinhalt erscheint erst nach JavaScript und fehlt im gerenderten HTML. Solche Widersprüche lassen sich mit einem Crawl gut sichtbar machen, besonders wenn JavaScript-Rendering im Spiel ist.
Die Seite ist neu oder die Nachfrage ist gering. Frisch veröffentlichte Seiten tauchen manchmal zuerst mit diesem Status auf und werden später aufgenommen. Das gleiche gilt für Themen, zu denen kaum gesucht wird. Hier hilft oft Geduld, solange die Seite gut verlinkt ist.
Schritt für Schritt zur Entscheidung
Mit den Gruppen aus dem Export gehst du so vor.
- Stichprobe in der URL-Prüfung ansehen. Nimm aus jeder Gruppe drei bis fünf URLs und teste sie live. Achte auf das gerenderte HTML, die von Google gewählte kanonische URL und darauf, ob der Hauptinhalt überhaupt im gerenderten Code steht.
- Die Seite ehrlich bewerten. Würdest du diese Seite als eigenes Suchergebnis sehen wollen? Gibt es auf der Website eine andere Seite, die dieselbe Frage besser beantwortet? Diese Frage klärt mehr als jede Kennzahl.
- Technische Signale abgleichen. Prüfe Canonical, Meta-Robots, Statuscode, Weiterleitungen und die Einträge in der XML-Sitemap. In der Sitemap sollten nur URLs stehen, die du indexiert sehen willst.
- Interne Links zählen. Wie viele interne Links zeigen auf die Seite, und von wo? Eine wichtige Seite, die nur aus dem Footer oder einer Archivseite verlinkt ist, braucht Links aus thematisch passenden Inhalten.
- Pro Gruppe entscheiden. Dafür gibt es vier Wege, die im nächsten Abschnitt stehen.
- Validierung starten und warten. Nach der Umsetzung startest du im Bericht die Validierung. Google prüft zuerst einige URLs und arbeitet dann die Liste ab. Das dauert typischerweise bis zu etwa zwei Wochen, manchmal länger.
Vier Wege für jede Seitengruppe
Verbessern. Die Seite soll ranken, bietet aber zu wenig. Ergänze, was Suchende brauchen: konkrete Antworten, Vergleiche, Beispiele, eigene Daten oder Erfahrungen. Verbessere danach die Verlinkung aus passenden Seiten. Mehr Text allein hilft nicht, wenn er nichts Neues sagt.
Zusammenführen. Zwei Seiten konkurrieren um dasselbe Thema. Führe sie zu einer stärkeren Seite zusammen und leite die schwächere per 301 weiter. Bei technischen Varianten, die bestehen bleiben müssen, reicht ein sauberer Canonical auf die Hauptversion.
Bewusst ausschließen. Die Seite wird für Nutzer gebraucht, aber nicht in der Suche. Setze sie auf noindex, nimm sie aus der Sitemap und verlinke sie intern nur dort, wo Nutzer sie brauchen. Damit ist die Liste im Bericht aufgeräumt, und niemand verschwendet Zeit mit diesen URLs.
Entfernen. Die Seite hat weder für Nutzer noch für die Suche einen Zweck. Lösche sie und liefere 404 oder 410 aus, oder leite auf eine passende Seite weiter, falls es eine echte Entsprechung gibt.
Was nicht hilft
Manche Reaktionen fühlen sich produktiv an, ändern aber nichts an der Bewertung:
- Immer wieder „Indexierung beantragen“. Die Funktion ist kontingentiert und ersetzt keine Verbesserung. Nutze sie gezielt für einzelne überarbeitete, wichtige URLs.
- Die Sitemap erneut einreichen. Google kennt die URLs bereits. Eine neu eingereichte Sitemap ändert nichts an der Qualitätsfrage.
- Die Indexing API nutzen. Google erlaubt die Indexing API nur für Seiten mit Stellenanzeigen oder Livestream-Videos. Für normale Inhaltsseiten ist sie der falsche Weg.
- Text künstlich verlängern. Fülltext macht eine Seite nicht nützlicher. Er verschlechtert eher das Leseerlebnis.
Wie ein Crawl die Ursachensuche abkürzt
Die Search Console sagt dir, dass eine Seite nicht indexiert ist. Warum, sagt sie dir nicht. Genau hier hilft ein eigener Crawl der Website, weil er alle Signale einer URL nebeneinanderlegt: Statuscode, Meta-Robots, Canonical, Klicktiefe, Anzahl der internen Links und den Umfang des Inhalts.
Mit dem Site Audit von Crawl Foundry crawlst du die Website und filterst die betroffenen Verzeichnisse. Befunde wie noindex, abweichende Canonicals, dünne Inhalte, fehlende interne Links im Fließtext oder Weiterleitungsketten stehen dann pro URL und pro Seitengruppe. So siehst du schnell, ob eine ganze Gruppe dasselbe Muster teilt, etwa Kategorieseiten mit sehr wenig eigenem Text. Die URL-Detailansicht in der Dokumentation zeigt, welche Evidenz pro Seite gesammelt wird.
Nach der Umsetzung vergleichst du einen neuen Crawl mit dem alten und siehst, welche Befunde wirklich verschwunden sind. Wie du Befunde aus einem Crawl in eine Reihenfolge bringst, beschreibt unser Artikel über technische SEO-Probleme im Site Audit.
Ein Beispiel aus der Praxis
Ein Online-Shop findet im Bericht mehrere hundert URLs mit diesem Status. Nach dem Sortieren bleiben drei Gruppen: Filter-URLs mit Parametern, Tag-Seiten des Magazins und etwa vierzig Kategorieseiten der zweiten Ebene.
Die Filter-URLs bekommen einen Canonical auf die ungefilterte Kategorie und fliegen aus der Sitemap. Die Tag-Seiten werden auf noindex gesetzt, weil sie nur Artikel auflisten. Bei den Kategorieseiten zeigt der Crawl zwei Muster: kaum eigener Text über der Produktliste und nur ein interner Link aus der Navigation. Das Team schreibt für jede Kategorie eine kurze, hilfreiche Einleitung mit Auswahlhilfe, verlinkt die Kategorien aus passenden Ratgebern und startet danach die Validierung.
Welche Kategorien danach aufgenommen werden, entscheidet weiterhin Google. Aber die Liste enthält jetzt nur noch Seiten, bei denen sich das Warten lohnt, und alle anderen sind bewusst entschieden.
Dein nächster Schritt
„Gecrawlt - zurzeit nicht indexiert“ ist Googles Urteil über eine Seite, kein Crawling-Fehler. Sortiere die betroffenen URLs in Gruppen, bewerte eine Stichprobe ehrlich und entscheide pro Gruppe: verbessern, zusammenführen, ausschließen oder entfernen. Wer die Gründe im Bericht zur Seitenindexierung mit einem eigenen Crawl abgleicht, spart sich wochenlanges Rätselraten.
Nimm dir als Nächstes zehn URLs aus dem Bericht vor und ordne jede einer der vier Entscheidungen zu. Meist zeigt sich schon an dieser Stichprobe, welches Muster dahintersteckt.