Crawlbarkeit (engl. Crawlability)

Was ist Crawlbarkeit?

Crawlbarkeit beschreibt, wie gut eine Suchmaschine die Seiten einer Website abrufen kann. Sie ist gegeben, wenn ein Crawler die Inhalte über interne Links erreicht, der Server zuverlässig antwortet und keine technischen Sperren den Zugriff verhindern. Crawlbarkeit ist damit die Grundvoraussetzung dafür, dass eine Seite überhaupt in die Suche gelangen kann.

Als Eigenschaft einer Website ist die Crawlbarkeit eng mit dem Crawling verknüpft und ein Kernthema des technischen SEO. Eine nicht crawlbare Seite bleibt für Suchmaschinen unsichtbar, unabhängig von der Qualität ihres Inhalts.

Was die Crawlbarkeit beeinträchtigt

Typische Hürden lassen sich klar benennen und meist beheben:

• fehlende interne Verlinkung – Seiten, die von keiner anderen Seite verlinkt sind (verwaiste Seiten);
• Sperren in der [robots.txt](/lexicon/robots-txt), die wichtige Bereiche ausschließen;
• Server- und Timeout-Fehler, die einen sauberen Abruf verhindern;
• Inhalte, die erst nach komplexer Interaktion oder fehlerhaftem JavaScript erscheinen.

Von der Crawlbarkeit zu unterscheiden ist die Indexierbarkeit: Erstere entscheidet, ob eine Seite abgerufen werden kann, letztere, ob sie in den Index aufgenommen werden darf. Beides muss stimmen, damit eine Seite rankt.

Häufige Fragen zur Crawlbarkeit

Wie prüft man die Crawlbarkeit einer Website?

Die Google Search Console meldet Crawling-Probleme und zeigt den Abrufstatus einzelner URLs. Ergänzend decken SEO-Crawler (etwa Screaming Frog) blockierte oder nicht erreichbare Seiten auf, und die Server-Logs zeigen das tatsächliche Verhalten des Googlebot.

Ist Crawlbarkeit dasselbe wie Indexierbarkeit?

Nein. Crawlbarkeit betrifft den Zugriff auf eine Seite, Indexierbarkeit die Erlaubnis zur Aufnahme in den Index. Eine Seite kann crawlbar, aber per noindex von der Indexierung ausgeschlossen sein.

Merksatz zur Crawlbarkeit

Crawlbarkeit ist die Eintrittskarte in die Suche – ohne erreichbaren Zugang bleibt jede weitere Optimierung wirkungslos.

Unterstützung bei der technischen Erreichbarkeit

Verwaiste Seiten, unnötige Sperren oder instabile Server bleiben oft unbemerkt, kosten aber Sichtbarkeit. mindtwo prüft die Crawlbarkeit einer Website strukturiert und macht Zugriffshürden sichtbar. Angebot anfragen, wenn Suchmaschinen alle wichtigen Seiten erreichen sollen.

Weiterführende Themen zur Crawlbarkeit

• Der Prozess dahinter: das Crawling
• Zugriff steuern über die robots.txt
• Der nächste Schritt: die Indexierbarkeit
• Ressourcen effizient nutzen: das Crawl-Budget