Machen Sie wichtige Seiten über gewöhnliche HTML-Links zugänglich; sie sollten den Status 200 liefern, das Crawling erlauben und kein noindex aufweisen. Führen Sie in der Sitemap nur kanonische URLs auf. Verwenden Sie robots.txt zur Steuerung des Crawlings, nicht zum Entfernen von URLs aus dem Index. Konsolidieren Sie Duplikate je nach Situation per Canonical-Link oder Weiterleitung.
Die Indexierung einer Website beginnt nicht mit dem Button zum Einreichen einer URL. Die Suchmaschine entdeckt die Adresse zunächst und kann sie dann crawlen, rendern, Signale bewerten und in den Index aufnehmen. Jede Phase kann anders ausgehen. Eine Seite in der Sitemap kann ungecrawlt bleiben, eine gecrawlte Seite muss nicht indexiert werden, und eine indexierte URL ist bei Duplikaten nicht unbedingt die bevorzugte Version.
Robots.txt, Meta Robots, Canonical-Link und Sitemap erfüllen unterschiedliche Aufgaben. Ihre unbedachte Kombination erzeugt Konflikte, die die Diagnose erschweren. Ziel ist nicht, jede technische URL in den Index zu bringen, sondern die Auffindbarkeit wertvoller Seiten sicherzustellen und endlose oder doppelte Bereiche einzuschränken. Diese Anleitung erklärt einen praktischen Entscheidungsrahmen.
Unterscheiden Sie Entdeckung, Crawling und Indexierung
Ein Crawler entdeckt Adressen vor allem über Links und Sitemaps. Ein Link sollte ein echtes Element mit Ziel-URL sein, nicht nur eine JavaScript-Aktion ohne Adresse. Verlinken Sie wichtige Inhalte aus der Navigation, aus Themenseiten oder relevanten Artikeln. Eine verwaiste URL, die nur in der Sitemap aufgeführt ist, kann zwar entdeckt werden, ihr fehlender Kontext deutet jedoch auf eine schwache Architektur hin. Verringern Sie die Klicktiefe durch logische Verlinkung, nicht dadurch, dass Sie alles ins Hauptmenü packen.
Nach dem Crawling bewertet die Suchmaschine Statuscode, Inhalt, Duplizierung, kanonische Signale und Qualität. Technische Korrektheit garantiert keine Indexierung. Seiten mit geringem Eigenwert, automatisch erzeugte Kombinationen oder sehr ähnliche lokale Varianten können außerhalb des Index bleiben. Prüfen Sie zuerst, ob die URL überhaupt eine eigenständige Nutzerintention und eigenen Inhalt hat, und suchen Sie erst danach nach einem technischen Fehler.
Setzen Sie robots.txt und noindex für den richtigen Zweck ein
Robots.txt gibt bestimmten Crawlern Anweisungen zum Durchsuchen von Pfaden, schützt eine öffentliche URL aber nicht wie eine Authentifizierung. Eine blockierte Adresse kann über einen externen Link auftauchen, und der Crawler sieht das Meta-Tag noindex nicht, wenn er die Seite nicht laden darf. Machen Sie eine noindex-Seite daher für den Crawler zugänglich, bis er das Signal verarbeitet hat. Schützen Sie sensible Staging-Umgebungen mit einem Passwort oder einer Netzwerkbeschränkung, nicht nur durch ein Verbot in der robots.txt.
Meta Robots oder der Header X-Robots-Tag steuern die Indexierung des geladenen Dokuments oder der Datei. Verwenden Sie sie für interne Suchergebnisse, Konten oder andere öffentlich zugängliche, aber laut Strategie unerwünschte Seiten. Fügen Sie kein noindex zu einer URL hinzu, die Sie gleichzeitig in der Sitemap aufführen und als kanonisch kennzeichnen. Prüfen Sie nach dem Entfernen des Signals den Cache, das Template und die Live-Antwort ohne Administrator-Anmeldung.
- Robots.txt steuert das Crawling
- Noindex steuert die Indexierung einer abgerufenen URL
- Authentifizierung schützt nicht öffentliche Inhalte
- Widersprüchliche Signale müssen beseitigt werden
Konsolidieren Sie Duplikate und Parameter
Verwenden Sie eine Weiterleitung, wenn die alte URL nicht mehr eigenständig erreichbar bleiben soll und ein relevanter Ersatz existiert. Ein Canonical-Link ist ein Signal für die bevorzugte Version, wenn ähnliche URLs verfügbar sind, etwa bei bestimmten Parametern. Er sollte auf eine erfolgreich erreichbare, indexierbare Seite verweisen und mit internen Links und der Sitemap übereinstimmen. Er ersetzt weder die Behebung endloser Filter, noch ist er ein Mittel, völlig unterschiedliche Inhalte zu Duplikaten zu machen.
Kampagnen-, Sortier- und Anzeigeparameter sollten keine neuen internen indexierbaren Zweige erzeugen. Filter im Onlineshop erfordern eine Auswahl: Wertvolle Kombinationen erhalten eine stabile Einstiegs-URL, die übrigen bleiben eine Nutzerfunktion mit kontrolliertem Crawling und kontrollierter Indexierung. Beobachten Sie Serverlogs und Indexierungsberichte, um das tatsächliche Verhalten zu sehen. Testen Sie die Regeln an einer Stichprobe, bevor Sie sie flächendeckend ausrollen.
Halten Sie Sitemap und Diagnose sauber
Eine XML-Sitemap enthält nur URLs, die indexiert werden sollen: Sie liefern den Status 200, sind nicht auf noindex gesetzt, sind kanonisch und bieten wertvolle Inhalte. Teilen Sie sie nach Typen auf, wenn das das Monitoring erleichtert, und geben Sie nicht bei jeder Generierung einen falschen Zeitpunkt der letzten Änderung an. Eine Sitemap ersetzt keine internen Links und erzwingt keine Indexierung. Aktualisieren Sie sie nach einer Migration und behandeln Sie alte Adressen mit Weiterleitungen.
Prüfen Sie bei einem Problem die Live-URL, den Status, robots, Meta Robots, den Canonical-Link, den gerenderten Inhalt, interne Links und die Informationen im Tool der Suchmaschine. Vergleichen Sie mit einer ähnlichen, funktionierenden Seite und dem Serverlog. Nutzen Sie die Anfrage zur Indexierung für eine kleine Stichprobe oder eine wichtige neue URL, nicht als Ersatz für eine saubere Architektur. Bewerten Sie nach der Korrektur die gesamte Gruppe und geben Sie dem System Zeit für die erneute Verarbeitung.
Checkliste für die Veröffentlichung eines neuen Bereichs
Legen Sie vor der Veröffentlichung die kanonische Form der URL fest und prüfen Sie, ob das Template über Filter, Druckansichten oder Parameter zusätzliche Adressen erzeugt. Eine neue Seite braucht einen eindeutigen Title, eine beschreibende H1, sichtbaren Inhalt und einen internen Link aus einem relevanten bestehenden Bereich. Prüfen Sie den Status 200, das Fehlen von noindex, einen selbstreferenzierenden Canonical-Link und die korrekte Sprachverknüpfung. In die Sitemap gehört erst die kanonische Produktivversion, nicht das Staging oder eine Vorschau.
Rufen Sie die URL nach der Veröffentlichung ohne Anmeldung auf, prüfen Sie sowohl den Quelltext als auch das gerenderte DOM und testen Sie die mobile Ansicht. Kontrollieren Sie das Serverlog oder das Prüftool, sobald die Suchmaschine die Adresse verarbeitet. Wird ein Bereich aus einer Vorlage generiert, testen Sie auch einen leeren, einen langen und einen ungültigen Eintrag. Diese kleine Veröffentlichungs-Checkliste verhindert, dass sich derselbe Indexierungsfehler auf einen ganzen neuen Inhaltstyp ausbreitet.
- Kanonische Produktions-URL
- Interner Link und sichtbarer Inhalt
- Korrekter Status und Indexierungssignale
- Prüfung beispielhafter Grenzfall-Datensätze
Häufige Fragen
Wie schnell indexiert Google eine neue Seite?
Die Dauer variiert je nach Entdeckung, Qualität, interner Verlinkung, Zustand der Website und Crawling-Häufigkeit. Sitemap und Links helfen beim Auffinden der URL, garantieren aber keinen Termin. Beobachten Sie den Status und beheben Sie die Ursache, wenn das Problem systematisch wiederkehrt.
Sollte ich sowohl noindex als auch Disallow setzen?
Wenn ein Crawler die URL nicht crawlen darf, sieht er das noindex möglicherweise nicht. Um eine indexierbare öffentliche Seite zu entfernen, erlauben Sie daher in der Regel das Abrufen des noindex-Signals. Die konkrete Reihenfolge hängt von der Situation ab; sensible Inhalte schützen Sie per Authentifizierung.
Sollte jede Seite in der Sitemap stehen?
Nein. Nehmen Sie kanonische, indexierbare URLs auf, die Sie in den Ergebnissen sehen möchten. Weiterleitungen, Fehlerseiten, noindex-Seiten, die interne Suche und gewöhnliche Parameter gehören nicht hinein. Auch URLs in der Sitemap benötigen einen internen Link.
Quellen und weiterführende Lektüre
Adam Antoni vyvíja weby, aplikácie a softvér na mieru. Prepája firemné systémy, automatizuje procesy a vytvára AI agentov. Pôsobí v Spišskej Novej Vsi a spolupracuje s firmami na celom Slovensku.
