Crawling (dt. Durchsuchen/Abrufen von Webseiten)

Was ist Crawling im SEO?

Crawling ist der Prozess, mit dem Suchmaschinen das Web systematisch durchsuchen, um Webseiten zu entdecken und abzurufen. Ein automatisiertes Programm folgt dabei Verlinkungen von Seite zu Seite, liest Sitemaps aus und lädt die gefundenen URLs herunter. Crawling ist damit der erste von mehreren Schritten, bevor eine Seite in der Suche erscheinen kann – noch vor Verarbeitung und Aufnahme in den Index.

Für die Suchmaschinenoptimierung ist Crawling grundlegend: Was nicht gecrawlt wird, kann nicht indexiert werden und taucht folglich nie in den Ergebnissen auf. Als Teil des technischen SEO geht es deshalb darum, Suchmaschinen den Zugriff so einfach und effizient wie möglich zu machen. Crawling ist die Voraussetzung für jede Sichtbarkeit, aber allein noch keine Garantie dafür.

Wie ein Crawler arbeitet

Den Abruf übernimmt der Crawler – bei Google der Googlebot. Er startet mit einer Liste bekannter URLs und einer sogenannten Crawl-Warteschlange. Von jeder abgerufenen Seite extrahiert er die enthaltenen Links und reiht neue Adressen in die Warteschlange ein. So arbeitet er sich Verbindung für Verbindung durch das Web. Neben Links dienen auch eingereichte Sitemaps als Ausgangspunkt, um neue oder geänderte Seiten schneller zu finden.

Wie oft und wie tief eine Website besucht wird, hängt unter anderem von ihrer Aktualität, ihrer internen Verlinkung und der Serverleistung ab. Antwortet ein Server langsam oder mit Fehlern, reduziert Google die Zugriffsrate, um die Website nicht zu überlasten.

Voraussetzungen: Crawlbarkeit und Steuerung

Damit Crawling gelingt, muss eine Seite erreichbar sein – diese Eigenschaft beschreibt die Crawlbarkeit. Interne Links müssen zu den Inhalten führen, der Server muss stabil mit dem Statuscode 200 antworten, und es dürfen keine unnötigen Sperren im Weg stehen.

Gesteuert wird der Zugriff vor allem über die robots.txt. Diese Datei legt fest, welche Bereiche ein Crawler abrufen darf und welche nicht. Wichtig ist die Abgrenzung zur Indexierung: Die robots.txt steuert ausschließlich das Crawling, nicht die Aufnahme in den Index. Eine per robots.txt blockierte Seite kann trotzdem im Index landen, wenn andere Seiten auf sie verlinken – Google kennt dann die Adresse, aber nicht den Inhalt.

Crawl-Budget: Effizienz bei großen Websites

Suchmaschinen investieren nicht unbegrenzt Ressourcen in eine Domain. Wie viele URLs Google in einem bestimmten Zeitraum abruft, fasst der Begriff Crawl-Budget zusammen. Für kleine und mittlere Websites ist das selten ein Engpass; für große Portale mit vielen tausend URLs wird es dagegen entscheidend.

Typische Budgetfresser lassen sich vermeiden:

• Fehlerseiten und Weiterleitungsketten, die Abrufe ohne Nutzen verbrauchen;
• endlose URL-Varianten durch Filter, Sortierungen und Session-Parameter;
• doppelte Inhalte, die dieselbe Information mehrfach abrufen lassen;
• unwichtige Bereiche, die besser gezielt vom Crawling ausgeschlossen werden.

Crawling nachvollziehen und prüfen

Ob und wie Suchmaschinen eine Website tatsächlich crawlen, lässt sich nicht nur vermuten, sondern belegen. Die Google Search Console zeigt Crawling-Statistiken und meldet Abrufprobleme. Noch genauer ist die Log-File-Analyse: Sie wertet die Server-Protokolle aus und zeigt, welche URLs der Googlebot wann und wie häufig besucht hat – die verlässlichste Grundlage, um Crawling-Probleme zu erkennen.

Zusammenfassung: Worauf es beim Crawling ankommt

1. Wichtige Seiten müssen intern verlinkt und stabil per 200 erreichbar sein.
2. Die robots.txt steuert nur das Crawling – nicht die Indexierung.
3. Crawl-Budget wird vor allem bei großen Websites zum Thema.
4. Fehlerseiten, Weiterleitungsketten und URL-Wildwuchs verschwenden Abrufe.
5. Server-Logs und die Search Console machen Crawling überprüfbar.

Merksatz: Was nicht gecrawlt wird, existiert für die Suche nicht. Crawling ist der erste Schritt – und die erste Fehlerquelle, wenn Sichtbarkeit ausbleibt.

Unterstützung bei der Crawling-Optimierung

Gerade bei großen oder gewachsenen Websites entscheidet effizientes Crawling darüber, ob relevante Seiten überhaupt gefunden werden. mindtwo analysiert Crawl-Verhalten und Server-Logs und macht Crawling-Barrieren sichtbar, bevor sie Rankings kosten. Sprechen Sie uns an, wenn Google Ihre wichtigen Seiten zuverlässig erreichen soll.

Weiterführende Themen zum Crawling

• Das Programm hinter dem Abruf: der Crawler und seine Funktionsweise
• Zugriff steuern über die robots.txt
• Ressourcen effizient nutzen: das Crawl-Budget
• Vom Abruf zur Aufnahme: die Indexierung