Crawl-Budget (dt. Crawling-Kontingent)

Was ist das Crawl-Budget?

Das Crawl-Budget bezeichnet die Menge an URLs, die eine Suchmaschine innerhalb eines bestimmten Zeitraums auf einer Website abruft. Google setzt es aus zwei Faktoren zusammen: dem Crawl-Limit (wie viel Last der Server verträgt, ohne beeinträchtigt zu werden) und dem Crawl-Bedarf (wie wichtig und aktuell die Inhalte einer Website erscheinen). Das Crawl-Budget bestimmt somit, wie viele Seiten Google praktisch berücksichtigt.

Als Steuerungsgröße im Crawling ist das Crawl-Budget ein Thema des technischen SEO – allerdings vor allem für große Websites. Für kleine und mittlere Websites ist das Crawl-Budget in der Regel kein Engpass; Google betont, dass sich die meisten Seiten darum nicht kümmern müssen.

Wann das Crawl-Budget relevant wird

Kritisch wird das Budget bei umfangreichen Websites mit vielen tausend URLs – etwa großen Online-Shops, Portalen oder Nachrichtenseiten. Dort entscheidet die effiziente Nutzung darüber, ob neue und wichtige Seiten zeitnah erfasst werden. Budget verschwenden vor allem:

• Weiterleitungsketten und Fehlerseiten, die Abrufe ohne Ergebnis verbrauchen;
• URL-Wildwuchs durch Filter, Sortier- und Session-Parameter;
• doppelte oder nahezu identische Inhalte;
• langsame Server, die die abrufbare Menge senken.

Gegensteuern lässt sich über eine klare Seitenarchitektur, das Bereinigen von Statuscodes, das Zusammenführen doppelter Inhalte und gezielte Sperren unwichtiger Bereiche in der robots.txt.

Häufige Fragen zum Crawl-Budget

Muss sich jede Website um das Crawl-Budget kümmern?

Nein. Für Websites mit einigen hundert oder wenigen tausend URLs ist das Budget selten ein Problem. Relevant wird es erst bei sehr großen Seitenmengen oder bei Websites, die sehr häufig neue Inhalte veröffentlichen.

Verbessert eine schnellere Website das Crawl-Budget?

Ein schneller, stabiler Server erlaubt Google, mehr URLs in gleicher Zeit abzurufen, und kann das Crawl-Limit erhöhen. Geschwindigkeit allein schafft aber keinen Crawl-Bedarf – dieser hängt an Relevanz und Aktualität der Inhalte.

Merksatz zum Crawl-Budget

Crawl-Budget ist eine Frage der Effizienz, nicht der Menge – wer Abrufe nicht an Fehlerseiten und URL-Ballast verschwendet, führt Google zu den Seiten, die zählen.

Unterstützung bei großen Websites

Bei umfangreichen Shops und Portalen entscheidet die Crawl-Effizienz darüber, ob wichtige Seiten überhaupt erfasst werden. mindtwo analysiert Crawl-Verhalten und URL-Strukturen und lenkt das Budget auf die relevanten Inhalte. Angebot anfragen, wenn Ihre wichtigsten Seiten zuverlässig gecrawlt werden sollen.

Weiterführende Themen zum Crawl-Budget

• Der übergeordnete Prozess: das Crawling
• Unwichtige Bereiche ausschließen über die robots.txt
• Abrufe belegen mit der Log-File-Analyse
• Sauberkeit der Serverantworten: Statuscodes