noindex

Kurzdefinition

noindex ist eine Anweisung an Suchmaschinen: Zeig diese Seite nicht in deinen Suchergebnissen. Du setzt sie entweder in einem Robots-Meta-Tag im <head> des HTML oder in einem HTTP-Antwort-Header X-Robots-Tag. Google, Bing und andere große Suchmaschinen unterstützen sie.

Die Anweisung wirkt nur, wenn der Crawler die Seite abrufen und lesen kann. Findet Google beim Crawlen einer URL ein noindex, entfernt es die Seite aus den Suchergebnissen, auch wenn andere Websites darauf verlinken. Bis zum nächsten Crawl ändert sich nichts.

Zwei Wege, noindex zu setzen

Das Robots-Meta-Tag

Für HTML-Seiten ist die übliche Form ein Meta-Tag im <head>:

html<meta name="robots" content="noindex">

Der Name robots spricht alle Crawler an. Ein bestimmter Crawler-Name spricht nur diesen Crawler an, etwa googlebot für die Google-Suche. Groß- und Kleinschreibung spielt bei den Werten keine Rolle, und mehrere Werte lassen sich mit Kommas kombinieren, zum Beispiel noindex, nofollow. Der Wert none ist die Kurzform für noindex, nofollow.

Das Tag muss im <head> stehen. Google hört auf, Seiten-Metadaten zu lesen, sobald ein Element auftaucht, das nicht in den Head gehört. Ein Robots-Meta-Tag, das zum Beispiel nach einem <iframe> oder ungültigem Markup steht, kann deshalb ignoriert werden.

Der Header X-Robots-Tag

Für Dateien ohne HTML-Head, etwa PDFs, Bilder oder Videos, sendet der Server die Anweisung als HTTP-Header:

httpHTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

Der Header funktioniert auch für HTML und ist praktisch, wenn du Regeln für ganze Verzeichnisse oder Dateitypen in der Serverkonfiguration festlegen willst. Wie das Meta-Tag kann er einen bestimmten Crawler ansprechen, etwa X-Robots-Tag: googlebot: noindex.

Trägt eine Seite mehrere Robots-Regeln aus verschiedenen Quellen, kombiniert Google sie, und die restriktivere Regel gewinnt.

noindex braucht Crawling

An dieser Stelle beginnen die meisten noindex-Probleme. robots.txt steuert, ob ein Crawler eine URL abrufen darf. noindex steuert, ob eine abgerufene Seite in den Suchergebnissen erscheinen darf. Beide wirken in unterschiedlichen Phasen.

Ist eine URL per robots.txt gesperrt, ruft Google sie nie ab und sieht das noindex darauf nie. Die URL kann trotzdem in den Suchergebnissen auftauchen, meist ohne Beschreibung, weil Google sie über Links kennt. Die beliebte Kombination "Disallow in robots.txt plus noindex auf der Seite" entfernt also keine Seite. Sie versteckt die Entfernungsanweisung.

Die richtige Reihenfolge, um eine Seite aus Google zu entfernen:

1. Lass die URL crawlbar.
2. Setz noindex im Meta-Tag oder Header.
3. Warte, bis Google die URL erneut gecrawlt hat, oder beantrage einen Recrawl über die URL-Prüfung in der Google Search Console.
4. Erst wenn die Seite verschwunden ist, entscheidest du, ob du zusätzlich das Crawling sperren willst.

Eine noindex-Zeile in der robots.txt unterstützt Google seit September 2019 nicht mehr. Solche Regeln werden ignoriert.

Wie lange die Entfernung dauert

noindex wirkt, wenn Google die Seite das nächste Mal crawlt. Bei häufig gecrawlten Seiten können das Tage sein, bei selten besuchten URLs tief in einer Website Wochen oder länger. Ein Recrawl-Antrag über die URL-Prüfung kann das für einzelne URLs beschleunigen. Er ist aber eine Bitte, keine Garantie.

Musst du eine Seite dringend aus den Google-Ergebnissen bekommen, etwa nachdem versehentlich personenbezogene Daten veröffentlicht wurden, blendet das Tool zum Entfernen von URLs in der Search Console sie vorübergehend aus, für etwa sechs Monate. Das verschafft dir Zeit. Die dauerhafte Lösung bleibt noindex, das Löschen der Seite mit 404 oder 410 oder ein Login davor.

noindex im Vergleich zu den Alternativen

noindex ist eines von mehreren Werkzeugen, und viele Probleme brauchen ein anderes.

Die Canonical-Zeile verdient Aufmerksamkeit. Google rät davon ab, noindex zu nutzen, um innerhalb einer Website die kanonische Seite festzulegen. noindex entfernt die Seite vollständig aus der Suche, statt ihre Signale zusammenzuführen. Für URL-Varianten ist ein Canonical-Tag oder eine Weiterleitung das richtige Signal. Eine Seite mit noindex und einem Canonical auf eine andere URL sendet widersprüchliche Anweisungen.

noindex und JavaScript

Google verarbeitet JavaScript-Websites in Phasen: Erst wird das HTML gecrawlt, später wird die Seite bei Bedarf gerendert. Enthält schon das ursprüngliche HTML ein noindex, überspringt Google das Rendering und indexiert die Seite nicht. Ein Skript, das das noindex anschließend entfernen soll, kommt nie zum Zug.

Andersherum sieht es anders aus. Google dokumentiert, dass JavaScript beim Rendering ein Robots-Meta-Tag hinzufügen kann, etwa wenn eine Produkt-API einen Fehler liefert und die Seite nicht indexiert werden soll. Das ist zulässig. Ein noindex direkt in der Serverantwort ist trotzdem zuverlässiger und funktioniert auch bei Crawlern, die kein JavaScript ausführen.

Für Audits heißt das: Prüfe sowohl die rohe HTML-Antwort als auch das gerenderte HTML. Eine Seite, die im Browser indexierbar aussieht, kann im Quelltext auf noindex stehen.

Typische Einsatzfälle

noindex ist sinnvoll für Seiten, die für Besucher erreichbar sein müssen, den Suchergebnissen aber nichts hinzufügen:

• interne Suchergebnisseiten
• Danke- und Bestätigungsseiten nach einem Formular
• Konto, Warenkorb und Checkout-Schritte
• Filterkombinationen in Shops, die nahezu identische Listen erzeugen
• Tag- oder Archivseiten mit sehr wenig eigenem Inhalt, eine häufige Form von Thin Content
• Kampagnen-Landingpages, die nur für bezahlten Traffic gedacht sind

Jeder Fall ist eine Entscheidung, kein Standard. Eine Filterseite für "rote Laufschuhe" kann es verdienen zu ranken, eine Seite für "rote Laufschuhe, Größe 46, nach Preis absteigend sortiert" meistens nicht.

Was noindex nicht leistet

• Es spart kein Crawl-Budget. Google muss eine Seite abrufen, um ihr noindex zu sehen. Googles eigene Hinweise zum Crawl-Budget empfehlen für Seiten, die gar nicht gecrawlt werden sollen, robots.txt und nicht noindex.
• Es schützt keine Inhalte. Wer die URL kennt, kann die Seite öffnen. Private Inhalte brauchen eine Anmeldung.
• Es beeinflusst Links nicht sofort. noindex allein erlaubt Crawlern, den Links auf der Seite zu folgen. Googles John Mueller hat öffentlich gesagt, dass Seiten, die lange auf noindex stehen, irgendwann seltener gecrawlt und ihre Links möglicherweise wie nofollow behandelt werden. Das ist eine Aussage, keine formale Dokumentation. Es ist aber ein Grund, wichtige Navigationsseiten nicht hinter noindex zu verstecken.
• Es steuert nicht jedes KI-System. Für Googles KI-Funktionen wie AI Overviews muss eine Seite indexiert und für ein Snippet geeignet sein, noindex schließt sie dort also ebenfalls aus. Andere KI-Crawler und Assistenten dokumentieren eigene Steuerungen, meist über User-Agents in der robots.txt. Prüf die Dokumentation des jeweiligen Anbieters, statt anzunehmen, dass noindex dort greift.

Ein Beispiel Schritt für Schritt

Ein Onlineshop zieht auf eine neue Plattform um. Zwei Wochen später ist der organische Traffic auf Kategorieseiten stark eingebrochen. Der Bericht zur Seitenindexierung in der Search Console zeigt immer mehr URLs mit dem Grund "Durch noindex-Tag ausgeschlossen".

Die Ursache ist eine Einstellung aus der Staging-Umgebung. Die Staging-Website nutzte ein globales noindex im HTML-Template, um nicht in Google zu landen. Mit der Theme-Konfiguration wurde diese Einstellung in die Produktion übernommen. Weil das Meta-Tag im Server-HTML steht, sagt jetzt jede Kategorie- und Produktseite Google, dass sie nicht indexiert werden soll.

Das Team entfernt das Tag, prüft eine Stichprobe von URLs mit der URL-Prüfung, beantragt Recrawls für die wichtigsten Kategorien und reicht die XML-Sitemap erneut ein. Die Erholung dauert mehrere Wochen, weil Google jede URL neu crawlen muss. Die nachhaltige Lösung ist ein Prozess: Die Staging-Website ist jetzt per Passwort geschützt statt per noindex, damit es nichts mehr gibt, das versehentlich mitkopiert wird.

Prüfablauf in sinnvoller Reihenfolge

1. Liste die URLs auf, die ranken sollen. Deine XML-Sitemap sollte nur diese enthalten.
2. Prüfe die robots.txt: Ist eine dieser URLs fürs Crawling gesperrt?
3. Prüfe die rohe HTML-Antwort und die HTTP-Header auf noindex.
4. Prüfe das gerenderte HTML auf Robots-Meta-Tags, die JavaScript hinzufügt oder ändert.
5. Such nach Konflikten: noindex zusammen mit einem Canonical auf eine andere URL, noindex-URLs in der Sitemap oder noindex-Seiten in hreflang-Clustern.
6. Gleiche mit der Search Console ab: Bericht zur Seitenindexierung, gefiltert auf eingereichte Seiten, und URL-Prüfung für Stichproben.
7. Beantrage nach der Korrektur Recrawls für wichtige URLs und beobachte den Bericht in den folgenden Wochen.

Häufige Fehler

• noindex aus einer Staging-Umgebung oder eine CMS-Einstellung wie "Suchmaschinen davon abhalten, diese Website zu indexieren" in WordPress geht live
• eine URL per robots.txt sperren und erwarten, dass das noindex darauf wirkt
• noindex auf paginierten Kategorieseiten, das Crawler von den dort gelisteten Produkten abschneiden kann
• noindex statt eines Canonicals für URL-Varianten verwenden
• noindex-URLs in die XML-Sitemap aufnehmen
• ein noindex per JavaScript entfernen und erwarten, dass Google die Änderung sieht
• noindex auf Seiten setzen, die hreflang-Alternativen indexierbarer Seiten sind
• PDFs und andere Dateien vergessen, die den Header X-Robots-Tag brauchen

Crawl-Foundry-Perspektive

Der Site Audit von Crawl Foundry nutzt einen eigenen Crawler, führt einen Crawl-Verlauf und prüft das gerenderte HTML jeder Seite. Für jede gecrawlte URL erfasst er Status, Metadaten, Indexierbarkeit und interne Links. Eine per noindex ausgeschlossene Seite steht so neben den Links, die auf sie zeigen, und dem Statuscode, den sie liefert. Weil sich Läufe vergleichen lassen, kannst du nach einem Release oder einer Migration prüfen, ob URLs, die ranken sollen, die Indexierung weiterhin erlauben.

Der Site Audit für technisches SEO zeigt den Zustand deiner Website aus Sicht unseres Crawlers. Er zeigt nicht, welche URLs Google gecrawlt oder indexiert hat. Dafür bleibt die Search Console die Quelle. Crawl Foundry kann sich mit reinem Lesezugriff mit der Search Console verbinden, und die letzte Prüfung für eine einzelne URL bleibt die URL-Prüfung, weil nur Google sagen kann, wie Google sie verarbeitet hat.

Verwandte Begriffe

• Indexierung
• Crawling
• Googlebot
• Search-Console-Berichte
• Duplicate Content

Quellen für den Review

• Google Search Central: Indexierung mit noindex blockieren
• Google Search Central: Spezifikationen für Robots-Meta-Tag, data-nosnippet und X-Robots-Tag
• Google Search Central: Einführung in robots.txt
• Google Search Central: Grundlagen zu JavaScript-SEO
• Google Search Central: Kanonische URL angeben
• Google Search Central: KI-Funktionen und deine Website
• Google Search Central Blog: A note on unsupported rules in robots.txt
• Bing Webmaster Guidelines
• MDN Web Docs: X-Robots-Tag header