Ob eine Seite in der Suche und in KI-Antworten auftaucht, hängt davon ab, wie Sie ihre Indexierung steuern. Nicht jede Seite gehört in den Index, und wer das gezielt entscheidet, steuert die eigene Sichtbarkeit. Wie saubere Suchmaschinenoptimierung Crawling, index und noindex trennt, zeigt dieser Beitrag.
Crawling, Indexierung und Ranking sind drei Schritte
Google verarbeitet Webseiten in drei aufeinanderfolgenden Schritten, die in der Praxis oft durcheinandergeraten:
- Crawling: Der Googlebot ruft URLs auf und lädt deren Inhalte.
- Indexierung: Google analysiert die Seite und entscheidet, ob sie in den Suchindex aufgenommen wird.
- Ranking: Unter den indexierten Seiten bestimmt Google für jede Suchanfrage die Reihenfolge.
Eine Seite kann gecrawlt, aber nicht indexiert werden, und eine indexierte Seite bleibt unsichtbar, solange sie nicht rankt. Die Indexierungssteuerung greift genau am mittleren Schritt an: Sie legt fest, welche URLs es überhaupt in den Index schaffen. Wer diese Trennung ignoriert, setzt die richtigen Signale oft an der falschen Stelle.
index und noindex: welche Seiten in den Index gehören
Zwei Werte des Robots-Tags entscheiden über die Aufnahme in den Index. Bei index darf die Seite in den Suchergebnissen erscheinen, bei noindex schließt Google sie aus. Standard ist index, auch ohne explizite Angabe.
In den Index gehören Seiten mit eigenständigem Nutzen und Suchpotenzial:
- Start-, Leistungs- und Produktseiten
- Kategorie- und Ratgeberseiten mit eigenem Mehrwert
- Landingpages, die organischen Traffic gewinnen sollen
Auf noindex gehören Seiten ohne Wert für die Suche:
- interne Suchergebnis- und Filter-URLs
- Warenkorb, Login und Konto-Bereiche
- dünne oder doppelte Seiten ohne eigenständigen Inhalt (Thin Content)
Ergänzend steuern follow und nofollow, ob Google den Links auf einer Seite folgt. Für ausgeschlossene, aber intern verlinkende Seiten (etwa Filter- oder Tag-Seiten) ist die Kombination noindex, follow als kurz- bis mittelfristige Maßnahme sinnvoll: Die Seite bleibt aus dem Index und Google folgt den Links zunächst weiter. Bleibt eine Seite dauerhaft auf noindex, behandelt Google das mit der Zeit wie noindex, nofollow und folgt ihren Links nicht mehr. Welche Seitentypen sich im eigenen Umfeld tatsächlich durchsetzen, lässt sich über eine SEO-Konkurrenzanalyse einordnen, bevor Sie Ihre eigene Indexierungsstrategie festlegen.
robots.txt und Meta-Robots steuern Verschiedenes
Der häufigste Denkfehler betrifft die robots.txt. Sie regelt das Crawling, nicht die Indexierung. Eine per Disallow gesperrte URL darf Google nicht abrufen, kann aber trotzdem im Index landen, wenn andere Seiten darauf verlinken. In den Ergebnissen erscheint sie dann ohne Beschreibung. Umgekehrt gilt: Steht auf einer Seite ein noindex, muss der Googlebot sie crawlen dürfen, um dieses Signal zu lesen. Wer dieselbe URL zusätzlich in der robots.txt sperrt, verhindert genau das, und die Seite bleibt womöglich indexiert.
Die folgende Übersicht ordnet die wichtigsten Steuerungsinstrumente ihrem tatsächlichen Zweck zu:
| Instrument | Steuert | Typischer Einsatz |
|---|---|---|
| robots.txt (Disallow) | Crawling, also den Zugriff des Bots | Ganze Verzeichnisse oder Ressourcen vom Abruf ausnehmen, Crawl-Last steuern |
| Meta-Robots-Tag | Indexierung einzelner HTML-Seiten | index/noindex und follow/nofollow pro Seite setzen |
| X-Robots-Tag (HTTP-Header) | Indexierung auch von Nicht-HTML-Dateien | noindex für PDFs, Bilder und andere Dateitypen |
| Canonical-Tag | Auswahl der Vorzugs-URL bei Duplikaten | Doppelte oder sehr ähnliche Seiten auf eine Version bündeln |
Quelle: Google Search Central, Dokumentation zu robots.txt, Robots-Meta-Tag und Canonicalization (abgerufen Juli 2026).
Canonical und Sitemap gegen Duplikate und für Struktur
Duplikate entstehen oft technisch, etwa durch Parameter-URLs, Sortierungen oder Druckversionen. Statt jede Variante auf noindex zu setzen, bündelt ein Canonical-Tag die Signale auf eine Vorzugs-URL. Google folgt diesem Hinweis in aller Regel und wertet die kanonische Version als die maßgebliche. Wichtig ist, dass das Canonical auf eine erreichbare, indexierbare Seite zeigt und nicht auf eine weitergeleitete oder gesperrte URL.
Welche Seiten Google kennen soll, kommuniziert die XML-Sitemap. Sie ersetzt keine gute interne Verlinkung, hilft dem Bot aber, neue und tiefe Seiten schneller zu finden. In die Sitemap gehören ausschließlich indexierbare Seiten mit Status 200, jeweils als absolute URL. Widersprüche schaden: Eine URL, die in der Sitemap steht und zugleich ein noindex trägt, sendet ein uneindeutiges Signal.
Crawl-Budget bei großen Websites
Bei kleinen Websites spielt die Menge des Crawlings kaum eine Rolle. Bei umfangreichen Shops, Portalen oder Datenbanken mit vielen tausend URLs schon: Verbringt der Googlebot seine Zeit mit Filter- und Parameter-Seiten, bleibt weniger Kapazität für die Seiten, die wirklich zählen. Wie Sie dieses Crawl-Budget sinnvoll lenken, entscheidet auf großen Domains mit über die Sichtbarkeit.
Drei Ansatzpunkte helfen, die Crawl-Kapazität auf wertvolle Seiten zu konzentrieren:
- Parameter- und Filter-URLs eindämmen: per robots.txt vom Crawling ausnehmen oder über Canonical bündeln.
- Verwaiste Seiten anbinden: Orphan Pages ohne interne Verlinkung findet der Bot schlecht und indexiert sie unzuverlässig.
- Crawl-Verhalten prüfen: Eine Logfile-Analyse zeigt, welche URLs Google tatsächlich wie oft abruft.
[[REDAKTION: optionaler Erfahrungsbezug zu einer Ebene-A-Branche (z. B. IT/Software oder Logistik) einsetzen und freigeben]]
Häufige Fehler bei der Indexierungssteuerung
Die meisten Indexierungsprobleme sind keine Algorithmus-Frage, sondern Konfigurationsfehler. Diese fünf treten besonders oft auf:
- Versehentliches noindex im Live-Betrieb: Ein aus der Entwicklungsumgebung übernommenes
noindexnimmt ganze Bereiche aus dem Index. - robots.txt blockiert eine Seite, die noindex tragen soll: Google liest das noindex nie und behält die URL im Index.
- Wichtige Seiten per Disallow gesperrt: relevante Inhalte werden gar nicht erst gecrawlt.
- Canonical oder Weiterleitung ins Leere: Ein Redirect in einer langen Kette oder ein Canonical auf eine tote URL verwässert die Signale.
- Indexierte URLs mit Fehlerstatus: Seiten, die einen 404-Statuscode liefern, aber noch im Index oder in der Sitemap stehen, verschwenden Crawl-Zugriffe.
Die Google Search Console deckt solche Fälle im Bericht zur Seitenindexierung auf. Sie zeigt, welche URLs indexiert sind, welche gecrawlt, aber nicht aufgenommen wurden, und aus welchem Grund Google Seiten ausschließt.
Warum saubere Indexierung über KI-Sichtbarkeit entscheidet
Sichtbarkeit endet nicht mehr bei den klassischen zehn blauen Links. Google blendet für viele Anfragen zusammenfassende KI-Antworten (AI Overviews) ein, und ein wachsender Teil der Recherche läuft direkt über KI-Assistenten. Die Grundlage bleibt in beiden Fällen dieselbe: Als Quelle infrage kommt nur, was Google crawlen und indexieren konnte.
Erscheinen nur indexierte Seiten in KI-Antworten?
Was Google nicht in den Index aufnimmt, steht auch für generative Antworten und AI Overviews nicht als Quelle bereit. Eine per robots.txt gesperrte oder versehentlich auf noindex gesetzte Seite fällt damit doppelt aus: in der klassischen Suche und in der KI-Antwort. Eine saubere Indexierung ist deshalb die Eintrittskarte für beide Kanäle, nicht nur für das Ranking.
Was bedeutet das für die Indexierungsstrategie?
KI-Systeme bevorzugen klar strukturierte, eindeutige Inhalte. Genau die Seiten, die als dünn oder doppelt gelten und zu Recht ein noindex erhalten, taugen ohnehin nicht als zitierfähige Quelle. Wer die Indexierung diszipliniert steuert, hebt also nicht nur die klassische Sichtbarkeit, sondern schärft zugleich das inhaltliche Profil, das KI-Systeme als Beleg heranziehen.
Häufige Fragen zur Indexierung
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling bezeichnet den Abruf einer Seite durch den Googlebot. Indexierung ist der nachgelagerte Schritt, bei dem Google die abgerufene Seite analysiert und entscheidet, ob sie in den Suchindex aufgenommen wird. Eine Seite kann gecrawlt werden, ohne indexiert zu werden.
Wie bekomme ich eine Seite aus dem Google-Index?
Setzen Sie ein noindex im Robots-Meta-Tag oder im X-Robots-Tag und stellen Sie sicher, dass die Seite crawlbar bleibt, damit Google das Signal liest. Die URL darf dafür nicht zusätzlich per robots.txt gesperrt sein. Über die Google Search Console lässt sich die Entfernung zusätzlich beschleunigen.
Warum ist meine Seite gecrawlt, aber nicht indexiert?
Häufige Gründe sind dünner oder doppelter Inhalt, ein Canonical-Verweis auf eine andere URL, ein gesetztes noindex oder eine insgesamt schwache Qualitätseinschätzung. Der Indexierungsbericht der Google Search Console nennt für jede betroffene URL den konkreten Grund.
Quellen
- Google Search Central, Dokumentation zu Crawling und Indexierung, Robots-Meta-Tag, robots.txt und Canonicalization (abgerufen Juli 2026).
- Google Search Central, Dokumentation zu XML-Sitemaps und zum Bericht zur Seitenindexierung in der Search Console (abgerufen Juli 2026).
- Google Search Central, Hinweise zu KI-Funktionen in den Suchergebnissen (abgerufen Juli 2026).
