Log-File-Analyse (engl. Log File Analysis)

Was ist eine Log-File-Analyse und wie kann sie helfen?

Die meisten SEO-Tools sagen Ihnen, was Google mit Ihrer Website tun sollte. Die Server-Logs sagen Ihnen, was es tatsächlich getan hat.

Die Log-File-Analyse ist die Auswertung der Server-Protokolldateien, um das reale Verhalten von Suchmaschinen-Crawlern auf einer Website nachzuvollziehen. Jeder Zugriff auf den Server, auch der des Googlebot, wird mit Zeitpunkt, aufgerufener URL, Statuscode und Kennung protokolliert. Die Auswertung dieser Rohdaten zeigt, welche Seiten wann und wie häufig gecrawlt wurden.

Im technischen SEO gilt die Log-File-Analyse als verlässlichste Quelle für Crawling-Verhalten, weil sie reale Zugriffe zeigt statt Annahmen. Kein anderes Werkzeug belegt so genau, was der Crawler wirklich getan hat.

Was sich aus Server-Logs ablesen lässt

Die Auswertung beantwortet Fragen, die andere Tools nur schätzen:

• Welche URLs crawlt Google häufig, und welche wichtigen Seiten gar nicht?
• Wie viel Crawl-Budget fließt in Fehlerseiten, Weiterleitungen oder unwichtige Parameter-URLs?
• Treten gehäuft 404- oder 5xx-Statuscodes auf?
• Wie verteilt sich das Crawling zwischen wichtigen und unwichtigen Bereichen?

Daraus ergeben sich konkrete Maßnahmen: Fehlerseiten bereinigen, Crawl-Ressourcen auf relevante Seiten umlenken, die interne Verlinkung anpassen. Besonders bei großen Websites ist die Analyse der beste Hebel, um das Crawl-Budget sinnvoll zu lenken. Für die Auswertung haben sich spezialisierte Werkzeuge etabliert, etwa der Screaming Frog Log File Analyser, der die Rohdaten einliest und Bot-Zugriffe nach URL, Statuscode und Häufigkeit aufbereitet.

Zwei Fragen zur Log-File-Analyse

Für wen lohnt sie sich? Vor allem für große Websites mit vielen URLs, bei denen Crawling-Effizienz zählt. Bei kleinen Websites reichen häufig die Crawling-Statistiken der Google Search Console; die tiefergehende Analyse bringt dort weniger zusätzlichen Nutzen.

Wie unterscheidet man echte von gefälschten Bot-Zugriffen? Die im Log angegebene Kennung (User-Agent) allein genügt nicht, sie lässt sich fälschen. Ein echter Googlebot lässt sich über eine umgekehrte DNS-Abfrage der zugreifenden IP-Adresse verifizieren.

Unterstützung bei der Log-File-Analyse

Server-Logs sind ein aufwendiger, aber unbestechlicher Datenschatz, sie zeigen die Wahrheit über das Crawling statt sie zu vermuten. mindtwo wertet sie strukturiert aus und übersetzt das reale Crawl-Verhalten in konkrete technische Maßnahmen. Angebot anfragen, wenn Sie wissen möchten, was Google auf Ihrer Website wirklich tut.

Weiterführende Themen zur Log-File-Analyse

• Das Programm, dessen Zugriffe sie zeigt: der Crawler
• Der Prozess dahinter: das Crawling
• Ressourcen gezielt lenken: das Crawl-Budget
• Serverantworten richtig deuten: Statuscodes