Die robots.txt sagt Suchmaschinen-Crawlern, welche Seiten sie aufrufen dürfen und welche nicht. Du erreichst sie unter deinewebsite.de/robots.txt.
robots.txt: Beispiele und Einstellung
Lesezeit etwa 2 Minuten.
Kurz gesagt: Die robots.txt sagt Suchmaschinen, welche Seiten sie durchsuchen dürfen. SiteDude AI erzeugt eine Standardversion; du kannst sie in den SEO-Einstellungen manuell bearbeiten. Hier findest du gängige Beispiele.
Schritt für Schritt
-
Was die robots.txt ist
-
Die Standardeinstellung
SiteDude AI erzeugt standardmäßig diese robots.txt. Sie erlaubt allen Crawlern den Zugriff auf alle Seiten:
User-agent: *Allow: /Sitemap: https://deinewebsite.de/sitemap.xml
-
Beispiel: bestimmte Seiten sperren
User-agent: *Allow: /Disallow: /thank-youDisallow: /privateSitemap: https://deinewebsite.de/sitemap.xml
-
Beispiel: alle Crawler sperren
Nutze das für Testwebsites oder private Websites:
User-agent: *Disallow: /
-
Beispiel: einen bestimmten Bot sperren
User-agent: *Allow: /User-agent: BadBotDisallow: /
-
Beispiel: nur Google zulassen
User-agent: GooglebotAllow: /User-agent: *Disallow: /
-
robots.txt in SiteDude AI bearbeiten
- Gehe zu Konto → Meine Services → Öffnen und öffne deine Website im Editor.
- Gehe zu „Settings“ (Einstellungen) → „SEO“.
- Suche den Bereich „Robots.txt“.
- Aktiviere den Schalter „Manual Robots.txt“ (Manuelle Robots.txt).
- Bearbeite den Inhalt.
- Speichere die Änderungen.
Gute Praxis: Nimm immer den Verweis auf die Sitemap auf, teste Änderungen vor dem Veröffentlichen, sperre keine CSS- und JS-Dateien und nutze konkrete Pfade statt Platzhaltern.
-
Häufige Anweisungen
User-agent: legt fest, für welchen Crawler die Regel giltAllow: erlaubt den Zugriff auf einen PfadDisallow: sperrt den Zugriff auf einen PfadSitemap: verweist auf den Ort der SitemapCrawl-delay: bremst den Crawler (nicht alle unterstützen das)
-
Testen
In der Google Search Console:
- Öffne die Search Console.
- Wähle deine Property.
- Nutze den robots.txt-Tester.
- Prüfe auf Fehler.
Von Hand: Rufe
deinewebsite.de/robots.txtauf und prüfe den Inhalt.
Wenn es nicht klappt
Wichtige Hinweise zur robots.txt
- Die robots.txt ist ein Hinweis, keine Durchsetzung.
- Sensible Inhalte brauchen eine Anmeldung.
- Änderungen brauchen etwas Zeit, bis sie wirken.
- Nutze die robots.txt nicht für Sicherheit.
Hat dir das geholfen?