Crawl-Budget (dt. Crawling-Kontingent)

Was ist das Crawl-Budget und wie ist es zu steuern?

Das Crawl-Budget bezeichnet die Menge an URLs, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf einer Website abruft. Google setzt es aus zwei Faktoren zusammen: dem Crawl-Limit (wie viel Last der Server verträgt, ohne beeinträchtigt zu werden) und dem Crawl-Bedarf (wie wichtig und aktuell die Inhalte einer Website erscheinen). Das Crawl-Budget bestimmt also, wie viele Seiten Google praktisch berücksichtigt.

Als Steuerungsgröße im Crawling ist das Crawl-Budget ein Thema des technischen SEO, allerdings vor allem für große Websites. Für kleine und mittlere Websites ist das Crawl-Budget in der Regel kein Engpass; Google selbst betont, dass sich die meisten Seiten darum nicht kümmern müssen.

Wann das Crawl-Budget relevant wird

Kritisch wird das Budget bei umfangreichen Websites mit vielen tausend URLs, etwa großen Online-Shops, Portalen oder Nachrichtenseiten. Dort entscheidet die effiziente Nutzung darüber, ob neue und wichtige Seiten zeitnah erfasst werden. Verschwendet wird das Budget vor allem durch:

• Weiterleitungsketten und Fehlerseiten, die Abrufe ohne Ergebnis verbrauchen;
• URL-Wildwuchs durch Filter, Sortier- und Session-Parameter;
• doppelte oder nahezu identische Inhalte;
• langsame Server, die die abrufbare Menge senken.

Gegensteuern lässt sich über eine klare Seitenarchitektur, das Bereinigen von Statuscodes, das Zusammenführen doppelter Inhalte und gezielte Sperren unwichtiger Bereiche in der robots.txt.

Wie viel Google tatsächlich abruft und wo Abrufe versickern, zeigt der Bericht „Crawling-Statistiken" (engl. „Crawl Stats") in der Google Search Console. Als erster Anlaufpunkt der Diagnose weist er die Zahl der Crawl-Anfragen, die verteilten Antwort- und Statuscodes sowie die Verteilung nach Dateityp und Zweck aus und macht so sichtbar, ob Budget in Fehlerseiten oder unwichtige URLs fließt.

Zwei Fragen zum Crawl-Budget

Muss sich jede Website darum kümmern? Nein. Für Websites mit einigen hundert oder wenigen tausend URLs ist das Budget selten ein Problem. Relevant wird es erst bei sehr großen Seitenmengen oder bei Websites, die sehr häufig neue Inhalte veröffentlichen.

Verbessert eine schnellere Website das Crawl-Budget? Ein schneller, stabiler Server erlaubt Google, mehr URLs in gleicher Zeit abzurufen, und kann das Crawl-Limit erhöhen. Tempo allein schafft aber keinen Crawl-Bedarf, der hängt an Relevanz und Aktualität der Inhalte.

Unterstützung bei großen Websites

Bei umfangreichen Shops und Portalen entscheidet die Crawl-Effizienz darüber, ob wichtige Seiten überhaupt erfasst werden. Am Ende ist Crawl-Budget eine Frage der Effizienz, nicht der Menge: Wer Abrufe nicht an Fehlerseiten und URL-Ballast verschwendet, führt Google zu den Seiten, die zählen. mindtwo analysiert Crawl-Verhalten und URL-Strukturen und lenkt das Budget auf die relevanten Inhalte. Angebot anfragen, wenn Ihre wichtigsten Seiten zuverlässig gecrawlt werden sollen.

Weiterführende Themen zum Crawl-Budget

• Der übergeordnete Prozess: das Crawling
• Unwichtige Bereiche ausschließen über die robots.txt
• Abrufe belegen mit der Log-File-Analyse
• Sauberkeit der Serverantworten: Statuscodes