Filtern und verifizieren Sie Suchmaschinen-Bots in den Logs, gruppieren Sie ihre Anfragen nach URL-Typ, Status und Antwortzeit und vergleichen Sie sie mit den kanonischen Seiten, der Sitemap und der Migration.
Ein Crawl-Tool zeigt, wohin ein Bot über interne Links gelangen kann. Ein Server-Log zeigt, welche URLs der Bot tatsächlich angefordert hat, wann, mit welchem Status und wie schnell der Server geantwortet hat. Dieser Unterschied ist wichtig bei großen Websites, nach einer Migration oder bei dem Verdacht, dass die Suchmaschine alten und wertlosen Adressen Aufmerksamkeit widmet.
Eine Logdatei-Analyse zeigt weder direkt den Grund für die Indexierung noch die Bewertung von Inhalten. Sie ist eine technische Quelle, die mit der Sitemap, einem internen Crawl, Indexierungsberichten und der Seitendatenbank kombiniert werden muss. Wenn die Daten korrekt bereinigt und sicher verarbeitet werden, helfen sie, Korrekturen anhand des tatsächlichen Verhaltens der Crawler zu priorisieren.
Welche Felder Sie benötigen und woher Sie sie beziehen
Ein nützlicher Logeintrag enthält die Zeit mit Zeitzone, den angeforderten Pfad und Query-String, die HTTP-Methode, den Statuscode, die übertragene Größe, den User-Agent und die Antwortzeit. Referrer und IP können bei der Verifizierung helfen, erhöhen jedoch die Sensibilität der Daten. Hosting oder CDN speichern unter Umständen nur einen Teil der Felder und für eine andere Dauer; vereinbaren Sie den Export daher vor dem Zeitraum, den Sie untersuchen möchten.
Vereinheitlichen Sie bei einer Website hinter einem CDN, einem Reverse Proxy oder mehreren Servern Format und Zeitangaben. Prüfen Sie, ob das Log sowohl die ursprüngliche Anfrage als auch die Antwort der Anwendung erfasst und ob internes Monitoring keinen falschen Traffic erzeugt. Die Dateien können groß sein; verarbeiten Sie sie in einer kontrollierten Umgebung und legen Sie eine angemessene Aufbewahrungsdauer nach Sicherheitsvorgaben und fachlich geprüften Datenschutzregeln fest.
Die Identität eines Bots lässt sich nicht allein anhand des User-Agents bestimmen
Jeder kann den Namen eines bekannten Bots in eine Anfrage schreiben. Verwenden Sie bei der Analyse wichtiger Crawler das von deren Betreibern empfohlene Verifizierungsverfahren, etwa die Prüfung von IP-Bereichen oder einen Reverse-DNS-Lookup mit anschließendem Forward-DNS-Abgleich. Cachen Sie das Ergebnis angemessen, damit die Überprüfung selbst die Verarbeitung nicht verlangsamt und das DNS nicht belastet.
Trennen Sie die wichtigsten Suchmaschinen-Robots, Bild-Crawler, Werbeprüfungen, SEO-Tools und nicht verifizierte automatisierte Anfragen. Jede Gruppe hat einen anderen Zweck. Eine falsche Zusammenfassung kann den Eindruck erwecken, dass eine Suchmaschine URLs intensiv besucht, die in Wirklichkeit ein interner Crawler oder ein schädlicher Bot ausprobiert.
- Identitätsprüfung nach dem offiziellen Verfahren
- Trennung der Bot-Typen und ihres Zwecks
- normalisierte Zeitzone und URL
- Ausschluss von Monitoring und internen Tests
Das Gruppieren von URLs deckt systemische Probleme auf
Gruppieren Sie die einzelnen URLs nach Vorlage: Produkt, Kategorie, Artikel, Filter, interne Suche, Medium oder API. Unterteilen Sie sie anschließend nach kanonischem Status, Vorhandensein in der Sitemap und Indexierbarkeit. So sehen Sie, ob der Crawler den Hauptinhalt besucht oder eine große Menge an Parametern und alten Weiterleitungen.
Analysieren Sie die Häufigkeit wiederholter Besuche und den ersten Besuch einer neuen URL. Eine wichtige Seite ohne Crawl-Anfrage kann unter schwacher interner Verlinkung oder fehlender Auffindbarkeit leiden. Häufige Besuche einer wertlosen Adresse wiederum deuten auf eine Linkquelle, eine Sitemap oder ein historisches Muster hin, das bereinigt werden sollte. Interpretieren Sie die Häufigkeit allein jedoch nicht als Qualitätsbewertung.
Statuscodes und Antwortzeiten im Kontext
Messen Sie den Anteil erfolgreicher Antworten, Weiterleitungen, 404, 429 und Serverfehler pro Crawler und Template. Weiterleitungsketten erhöhen die Anzahl der Anfragen und können nach einer Migration eine alte Struktur verbergen. Wiederholte 5xx-Fehler oder Timeouts zu bestimmten Zeiten deuten auf ein Kapazitäts- oder Anwendungsproblem hin, das ein normaler Crawl außerhalb der Spitzenzeiten nicht erfasst.
Vergleichen Sie die Antwortzeit zwischen ähnlichen Seitentypen und im Zeitverlauf. Ein langsamer API-Pfad muss den HTML-Crawl nicht beeinflussen, eine langsame Kategorie mit vielen Datenbankabfragen hingegen schon. Ziehen Sie keine Schlüsse aus einem Durchschnitt, ohne Ausreißer gesondert zu betrachten. Dokumentieren Sie Änderungen an Cache, Hosting und Releases, damit der Trend einen betrieblichen Kontext hat.
Wiederholbarer Bericht und Entscheidungen
Der Bericht sollte einige Fragen beantworten: Welche wertvollen Templates besucht der Bot, was ignoriert er, wo verschwendet er Anfragen und welche Fehler wiederholen sich? Geben Sie bei jedem Befund das URL-Muster, den Nachweis, die wahrscheinliche Ursache, den Verantwortlichen und einen vorgeschlagenen Test an. Ein Export von Millionen Zeilen ohne Entscheidung hilft weder dem Content- noch dem Entwicklungsteam.
Vergleichen Sie nach der Korrektur denselben Zeitraum und dieselben Segmente. Beobachten Sie, ob der Bot das entfernte Muster nicht mehr besucht, ob sich Weiterleitungsketten verringert haben und ob er neue wichtige URLs früher entdeckt. Automatisieren Sie bei großen Websites eine regelmäßige Übersicht, behalten Sie bei Migrationen und Anomalien jedoch die manuelle Interpretation bei. Logs belegen eine Anfrage an den Server, nicht die Indexierung oder das Ranking.
- gleiches Zeitfenster und gleiche URL-Gruppen
- Annotationen zu Releases, Ausfällen und Migrationen
- klarer Verantwortlicher für jede vorgeschlagene Maßnahme
Häufige Fragen
Sind Serverlogs für jedes SEO-Audit notwendig?
Nein. Bei einer kleinen Website reichen oft Crawl- und Indexierungsdaten aus. Logs sind besonders nützlich bei einem großen URL-Raum, Migrationen, Crawl-Fallen und instabilem Betrieb.
Kann man dem Namen Googlebot im User-Agent vertrauen?
Nicht ohne Überprüfung. Der User-Agent lässt sich fälschen. Verwenden Sie die aktuell offiziell empfohlene Methode zur Überprüfung per IP oder DNS und trennen Sie nicht verifizierte Anfragen ab.
Zeigt das Log, ob eine Seite indexiert ist?
Nein. Es zeigt, dass der Server die Anfrage angenommen hat und wie er geantwortet hat. Die Indexierung muss anhand weiterer Quellen überprüft und zusammen mit Canonical, Inhalt und internen Links beurteilt werden.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
