Canonical, robots.txt und Sitemap richtig einsetzen

Canonical, robots.txt und Sitemap werden oft in einen Topf geworfen. Sie lösen aber unterschiedliche Probleme:

• Canonical sagt, welche URL die kanonische Version ist.
• robots.txt sagt, welche URLs Crawler nicht abrufen sollen.
• Sitemap sagt, welche URLs du Suchmaschinen zur Indexierung anbietest.

Wer die drei Instrumente verwechselt, produziert genau die Fehler, die sie verhindern sollen.

Canonical: Duplicate Content konsolidieren

Ein Canonical ist ein Hinweis, keine Anweisung. Google kann ihn ignorieren, wenn andere Signale dagegen sprechen.

Regeln

1. Selbstreferenzierend auf jeder eindeutigen Seite.
2. Absolute URL verwenden (https://vitoscore.de/seite).
3. Eine kanonische URL pro Seite.
4. Nicht auf die Startseite kanonisieren, wenn die Seite eigenständigen Inhalt hat.
5. Canonical und hreflang müssen zusammenpassen.
6. Paginierte Seiten kanonisieren auf sich selbst, nicht auf Seite 1.

Typische Fälle

• www und non-www: eine Variante per 301, Canonical auf die finale URL.
• Parameter wie ?utm_source, ?page=2 oder ?filter=: nur die Parameter erlauben, die die Seite tatsächlich auswerten.
• Print-, PDF- oder AMP-Versionen: Canonical auf die HTML-Hauptversion.
• Produktvarianten: Canonical auf die Hauptvariante, wenn die Varianten keinen eigenen Suchbedarf haben.

Häufige Fehler

• Canonical zeigt auf eine 404 oder Redirect-URL.
• Canonical zeigt auf eine noindex-Seite.
• Jede Seite kanonisiert auf die Startseite.
• Canonical und Sitemap widersprechen sich.

robots.txt: Crawling steuern

robots.txt ist eine Datei im Wurzelverzeichnis. Sie sagt Crawlern, welche Pfade sie nicht abrufen sollen. Sie verhindert nicht die Indexierung einer URL, wenn diese von außen verlinkt wird. Dafür ist noindex zuständig.

Minimalbeispiel

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /warenkorb/
Sitemap: https://vitoscore.de/sitemap.xml

Regeln

1. Nur crawlen, nicht indexieren. Für Indexierung noindex oder eine 301/410 verwenden.
2. Keine wichtigen Ressourcen blockieren. CSS, JS und Bilder müssen erreichbar bleiben, sonst kann Google die Seite nicht rendern.
3. Sitemap referenzieren.
4. Keine Geheimnisse erwarten. robots.txt ist öffentlich.
5. Testen. Die URL muss 200 liefern und den richtigen Content-Type haben.

Häufige Fehler

• Disallow: / als versehentliche Komplettsperre.
• Disallow für Seiten, die eigentlich indexiert werden sollen.
• robots.txt blockiert CSS/JS und die Seite wird falsch gerendert.
• robots.txt blockiert die Sitemap selbst.

XML-Sitemap: kanonische URLs anbieten

Eine Sitemap ist eine Empfehlung, keine Garantie. Sie hilft Crawlern, neue oder geänderte URLs schneller zu finden.

Regeln

1. Nur kanonische, indexierbare URLs aufnehmen.
2. Keine 404, Redirects oder noindex-Seiten.
3. lastmod pflegen, wenn sich Inhalte ändern.
4. Maximal 50.000 URLs und 50 MB pro Datei.
5. Sitemap in robots.txt und Search Console eintragen.

Häufige Fehler

• Sitemap enthält alte URLs nach einem Relaunch.
• Sitemap enthält Parameter-URLs, die kanonisiert werden.
• Sitemap wird nie aktualisiert.
• Sitemap enthält noindex-Seiten.

Das Zusammenspiel

Checkliste

• [ ] Jede indexierbare Seite hat ein selbstreferenzierendes Canonical.
• [ ] Canonicals zeigen auf 200-URLs, nicht auf Redirects oder 404.
• [ ] Parameter-URLs sind entweder kanonisiert oder per 301 bereinigt.
• [ ] robots.txt blockiert keine CSS/JS-Ressourcen.
• [ ] robots.txt verweist auf die Sitemap.
• [ ] Sitemap enthält nur kanonische, indexierbare URLs.
• [ ] Sitemap ist in der Search Console eingereicht.
• [ ] Nach Relaunch: Sitemap, Canonicals und Redirects gemeinsam geprüft.

Fazit

Canonical, robots.txt und Sitemap sind Werkzeuge für verschiedene Aufgaben. Wer sie sauber trennt, vermeidet die klassischen Self-Made-Duplikate und macht Crawlern eine klare Ansage. Nach jedem Relaunch gehören alle drei auf die Prüfliste.

Quellen

• Google: Canonical-URLs
• Google: robots.txt
• Google: Sitemaps