Verbessern Sie das Crawl-Budget durch das Entfernen von Crawl-Fallen und Duplikaten, eine schnelle und stabile Serverantwort, präzise Sitemaps, saubere interne Links und die regelmäßige Analyse der Bot-Logs.
Das Crawl-Budget beschreibt, wie viele URLs und in welcher Häufigkeit ein Suchmaschinen-Crawler auf einer Website zu durchsuchen bereit und in der Lage ist. Für eine kleine Unternehmenswebsite ist es in der Regel nicht das Haupthindernis für SEO. Wichtiger wird es bei großen Katalogen, Archiven, Marketplace-Projekten oder Websites, die zahlreiche Parameter und doppelte Adressen erzeugen.
Ziel ist nicht, einen Crawler dazu zu bringen, jede URL jeden Tag zu besuchen. Er soll seine Kapazität für Seiten mit einzigartigem und aktuellem Inhalt nutzen und sie nicht in endlosen Filtern, Kalendern oder Fehlerschleifen verschwenden. Die Steuerung des Crawl-Budgets verbindet daher Website-Architektur, Serverlogs, interne Links, Statuscodes und die Qualität indexierbarer Seiten.
Wann das Crawl-Budget wirklich ein Problem ist
Vergleichen Sie zunächst die Anzahl wertvoller indexierbarer Seiten mit der Anzahl der URLs, die die Website technisch erzeugt. Enthält der Katalog Hunderte von Produkten, erzeugen die Filter jedoch Hunderttausende Kombinationen, kann der Crawler wiederholt Varianten ohne eigenständigen Wert besuchen. Ein ähnliches Problem entsteht durch Session-IDs, interne Suche, Druckversionen, endlose Kalender oder fehlerhafte relative Links.
Wird eine neue Seite nur langsam entdeckt, bedeutet das nicht automatisch ein zu geringes Crawl-Budget. Prüfen Sie, ob ein interner Link auf sie verweist, ob sie in der Sitemap enthalten ist, einen erfolgreichen Statuscode liefert und nicht blockiert oder auf eine andere Seite kanonisiert ist. Eine kleine Website braucht häufig eine bessere Informationsarchitektur und wertvolleren Inhalt, nicht technisches Mikromanagement der Crawler.
Serverlogs zeigen das tatsächliche Verhalten von Crawlern
Webserver-Logs erfassen die angeforderte URL, die Uhrzeit, den Statuscode, den User-Agent und häufig die Antwortzeit. Überprüfen Sie die Identität wichtiger Crawler nach dem von ihrem Betreiber empfohlenen Verfahren; der Name des User-Agents lässt sich fälschen. Gruppieren Sie die Anfragen nach Seitentyp, Parameter, Status und Häufigkeit, um zu sehen, wohin die Crawling-Kapazität tatsächlich fließt.
Achten Sie auf einen hohen Anteil an Weiterleitungen, Fehlern, Parametern, nicht kanonischen URLs und Seiten ohne organischen Wert. Vergleichen Sie die Logs mit der Sitemap, der Analyse und der Datenbank indexierbarer Seiten. Ein einmaliger Ausschnitt kann durch Saisonalität oder ein Deployment verzerrt sein. Beobachten Sie daher den Trend und speichern Sie Logs angemessen sicher; sie können IP-Adressen und weitere Betriebsdaten enthalten.
- Bot-Anfragen nach Template und Status
- Antwortzeit und wiederholte Serverfehler
- nicht kanonische URLs und unnötige Parameter
- neue wichtige Seiten ohne Besuch des Crawlers
Beseitigen Sie Crawl-Fallen an der Quelle
Die beste Lösung verhindert, dass überflüssige URLs überhaupt entstehen und intern verlinkt werden. Lassen Sie bei Filtern nur Kombinationen mit klarer Suchanfrage und einzigartigem Inhalt zu. Begrenzen Sie Kalender auf einen realistischen Zeitraum, bieten Sie die interne Suche Robotern nicht als endloses Verzeichnis an und fügen Sie keine Session-Daten in URLs ein. Stabile Parameter helfen auch der Analytics und dem Cache.
Robots.txt kann das Crawlen bekannter Muster einschränken, entfernt aber eine bereits bekannte URL nicht aus dem Index, und der Crawler sieht dann ihre Meta-Anweisungen nicht mehr. Noindex wiederum setzt voraus, dass die Seite gecrawlt wird. Das Canonical-Tag ist ein Signal zur Auswahl der bevorzugten Version, kein Werkzeug zur Behebung eines unendlichen URL-Raums. Wählen Sie den Mechanismus nach dem Ziel und prüfen Sie vor dem Blockieren, dass Sie keine benötigten Ressourcen abschneiden.
Sitemap und interne Links sollen Prioritäten ausdrücken
Eine XML-Sitemap enthält nur kanonische, indexierbare URLs mit erfolgreicher Antwort. Unterteilen Sie sie nach Inhaltstyp, wenn dies die Diagnose erleichtert, und aktualisieren Sie das Änderungsdatum nur bei inhaltlichen Anpassungen. Eine Sitemap unterstützt das Auffinden, ersetzt jedoch keine internen Links und garantiert für sich allein keine Indexierung.
Rücken Sie wichtige Seiten näher an relevante Hubs heran und verlinken Sie sie mit aussagekräftigem Ankertext. Entfernen Sie Links auf Weiterleitungen, Fehlerseiten und unnötige Varianten. Achten Sie bei einem großen Katalog darauf, dass per JavaScript erzeugte Navigation den Bots echte Links bereitstellt. Die interne Architektur sollte den geschäftlichen und informativen Wert widerspiegeln, nicht nur das Erstellungsdatum eines Eintrags.
Messen Sie Änderungen anhand von Auffindung und Indexierung
Erfassen Sie vor der Änderung den Anteil der Crawl-Anfragen auf wertvolle und überflüssige Templates, die Anzahl der Fehler, die Antwortzeit und die Zeit bis zur Entdeckung neuer URLs. Beobachten Sie nach dem Deployment dieselben Kennzahlen über einen ausreichenden Zeitraum. Ein Rückgang des gesamten Crawlings kann positiv sein, wenn der Crawler keine Fallen mehr besucht und neue wichtige Seiten zuverlässiger entdeckt.
Wiederholen Sie die Logfile-Analyse bei jeder größeren Änderung an Filtern oder Navigation sowie bei einer Migration. Richten Sie eine Benachrichtigung bei einem starken Anstieg eindeutiger URLs, Parameter und Serverfehler ein. Das Crawl-Budget ist keine einmalige Zahl, die maximiert werden muss. Es ist eine betriebliche Folge einer sauberen URL-Architektur, eines stabilen Servers und einer klaren Auswahl indexierbarer Inhalte.
Häufige Fragen
Muss sich eine kleine Firmenwebsite mit dem Crawl-Budget befassen?
In der Regel nicht als eigene Priorität. Beheben Sie zuerst Indexierbarkeit, interne Links, Inhalte und technische Fehler. Das Crawl-Budget sollten Sie untersuchen, wenn die Website deutlich mehr URLs als wertvolle Seiten erzeugt.
Erhöht eine Sitemap das Crawl-Budget?
Eine Sitemap unterstützt die Auffindbarkeit und Diagnose bevorzugter URLs, garantiert aber für sich allein keine Crawl-Kapazität. Sie muss saubere kanonische Seiten enthalten und mit der internen Architektur zusammenwirken.
Sollten wir alle Parameter in der robots.txt blockieren?
Nicht ohne Analyse. Manche Parameter können zu wertvollen Inhalten oder Ressourcen führen. Klassifizieren Sie zuerst ihren Zweck und prüfen Sie die Auswirkungen einer Blockierung auf Crawling und Indexierung.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
