Hilfe-Center

robots.txt: Beispiele und Einstellung

Lesezeit etwa 2 Minuten.

Kurz gesagt: Die robots.txt sagt Suchmaschinen, welche Seiten sie durchsuchen dürfen. SiteDude AI erzeugt eine Standardversion; du kannst sie in den SEO-Einstellungen manuell bearbeiten. Hier findest du gängige Beispiele.

Schritt für Schritt

  1. Was die robots.txt ist

    Die robots.txt sagt Suchmaschinen-Crawlern, welche Seiten sie aufrufen dürfen und welche nicht. Du erreichst sie unter deinewebsite.de/robots.txt.

  2. Die Standardeinstellung

    SiteDude AI erzeugt standardmäßig diese robots.txt. Sie erlaubt allen Crawlern den Zugriff auf alle Seiten:

    • User-agent: *
    • Allow: /
    • Sitemap: https://deinewebsite.de/sitemap.xml
  3. Beispiel: bestimmte Seiten sperren

    • User-agent: *
    • Allow: /
    • Disallow: /thank-you
    • Disallow: /private
    • Sitemap: https://deinewebsite.de/sitemap.xml
  4. Beispiel: alle Crawler sperren

    Nutze das für Testwebsites oder private Websites:

    • User-agent: *
    • Disallow: /
  5. Beispiel: einen bestimmten Bot sperren

    • User-agent: *
    • Allow: /
    • User-agent: BadBot
    • Disallow: /
  6. Beispiel: nur Google zulassen

    • User-agent: Googlebot
    • Allow: /
    • User-agent: *
    • Disallow: /
  7. robots.txt in SiteDude AI bearbeiten

    1. Gehe zu Konto → Meine Services → Öffnen und öffne deine Website im Editor.
    2. Gehe zu „Settings“ (Einstellungen) → „SEO“.
    3. Suche den Bereich „Robots.txt“.
    4. Aktiviere den Schalter „Manual Robots.txt“ (Manuelle Robots.txt).
    5. Bearbeite den Inhalt.
    6. Speichere die Änderungen.

    Gute Praxis: Nimm immer den Verweis auf die Sitemap auf, teste Änderungen vor dem Veröffentlichen, sperre keine CSS- und JS-Dateien und nutze konkrete Pfade statt Platzhaltern.

  8. Häufige Anweisungen

    • User-agent: legt fest, für welchen Crawler die Regel gilt
    • Allow: erlaubt den Zugriff auf einen Pfad
    • Disallow: sperrt den Zugriff auf einen Pfad
    • Sitemap: verweist auf den Ort der Sitemap
    • Crawl-delay: bremst den Crawler (nicht alle unterstützen das)
  9. Testen

    In der Google Search Console:

    1. Öffne die Search Console.
    2. Wähle deine Property.
    3. Nutze den robots.txt-Tester.
    4. Prüfe auf Fehler.

    Von Hand: Rufe deinewebsite.de/robots.txt auf und prüfe den Inhalt.

Wenn es nicht klappt

Wichtige Hinweise zur robots.txt

  • Die robots.txt ist ein Hinweis, keine Durchsetzung.
  • Sensible Inhalte brauchen eine Anmeldung.
  • Änderungen brauchen etwas Zeit, bis sie wirken.
  • Nutze die robots.txt nicht für Sicherheit.

Hat dir das geholfen?