Handbuch robots.txt Manager.

Eigene robots.txt je Verkaufskanal und Domain: Vorlagen, Vorschau mit Prüfhinweisen, Live-Prüfung und was der Auslieferung im Weg stehen kann.

Zur Produktseite Direkt anfragen

Was das Plugin macht

Shopware liefert die robots.txt ab Version 6.7.1 selbst aus, für alle Domains mit denselben Standardregeln. Das Plugin ersetzt diese Ausgabe durch einen eigenen Text, den Sie je Verkaufskanal festlegen. Braucht eine einzelne Domain etwas anderes, bekommt sie eine eigene Fassung.

Ist für eine Domain nichts hinterlegt oder die Fassung ausgeschaltet, liefert Shopware wie gewohnt seinen Standard aus.

Shopware 6.6 und 6.7.0: Dort liefern sie die robots.txt noch nicht selbst aus, das Plugin beantwortet die Anfrage selbst. Voraussetzung ist eine Domain ohne Pfad, und ausgeliefert wird nur, wenn eine eigene Fassung aktiv ist. Ab 6.7.1 entfällt die Einschränkung.

Erste Schritte

  1. Plugin installieren und aktivieren, danach den Cache leeren.
  2. Unter Erweiterungen, Stone & Water - Plugin Suite, den robots.txt Manager öffnen.
  3. Im Tab Übersicht prüfen, ob oben ein roter Hinweis steht.
  4. Bei einem Verkaufskanal auf "Kanal-Standard bearbeiten" klicken.
  5. Den vorgeschlagenen Inhalt anpassen oder eine Vorlage einfügen.
  6. Speichern. Die Änderung ist sofort live, der Cache wird gezielt geleert.
  7. Mit "Live prüfen" kontrollieren, ob die Domain den neuen Stand ausliefert.

Kanal-Standard und eigene Fassung

Der Kanal-Standard gilt für alle Domains eines Verkaufskanals. Wählen Sie im Editor unter Domain eine einzelne Domain, um für sie eine eigene Fassung anzulegen.

Eine robots.txt gilt immer für einen ganzen Host. Domains mit Pfad, etwa shop.de/en, teilen sich deshalb die robots.txt von shop.de.

Reihenfolge bei der Auslieferung:

  1. Aktive eigene Fassung der Domain
  2. Aktiver Kanal-Standard
  3. Shopware-Standard

Einstellungen im Editor

  • Eigene robots.txt ausliefern: Aus bedeutet, die Domain fällt auf den Kanal-Standard oder den Shopware-Standard zurück. Der Inhalt bleibt gespeichert.
  • Sitemap-Einträge automatisch ergänzen: hängt für jede Domain auf dem Host eine Sitemap-Zeile an. Zeilen, die schon im Text stehen, werden nicht doppelt ausgegeben.
  • Vorlage: ersetzt den Inhalt nach Rückfrage durch eine Vorlage.

Vorlagen

  • Shopware-Standard - die Regeln, die Shopware 6.7 selbst ausliefert, inklusive Freigabe von Theme-Dateien, Medien und Vorschaubildern.
  • Shopware-Standard, KI-Training sperren - zusätzlich gesperrt für GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended, meta-externalagent und Bytespider. Suchassistenten bleiben erlaubt.
  • Shopware-Standard, Google uneingeschränkt - Googlebot und Googlebot-Image dürfen alles, für alle anderen gilt der Standard.
  • Alles erlauben - keine Einschränkungen.
  • Alles sperren - sperrt die komplette Seite, etwa für Testumgebungen.

Vorschau und Prüfhinweise

Die Vorschau zeigt genau den Text, der ausgeliefert wird, inklusive der Sitemap-Zeilen. Darunter weist das Plugin auf typische Fehler hin:

  • Disallow: / für alle Crawler sperrt die komplette Seite
  • Zeilen ohne Doppelpunkt oder unbekannte Anweisungen
  • Regeln vor der ersten User-agent-Zeile
  • Pfade, die nicht mit / oder * beginnen
  • Sitemap ohne vollständige Adresse
  • Noindex und Crawl-delay, die Google nicht auswertet
  • Dateien über 500 KiB, mehr liest Google nicht

Die Hinweise blockieren das Speichern nicht.

Live-Prüfung

"Live prüfen" ruft die robots.txt der Domain vom Server aus ab und vergleicht sie mit dem gespeicherten Stand. Mögliche Ergebnisse:

  • Entspricht dem gespeicherten Stand - alles in Ordnung.
  • Cache liefert eine ältere Fassung - Cache leeren oder kurz warten.
  • Andere robots.txt - meist eine Datei im Ordner public oder eine Regel des Webservers.
  • Shopware-Standard - für die Domain ist keine eigene Fassung aktiv.
  • Nicht erreichbar - der Server erreicht sich selbst nicht, die Adresse im Browser öffnen.

Aus dem Editor heraus lässt sich der abgerufene Inhalt mit "In Editor übernehmen" als Ausgangspunkt nutzen. Sitemap-Zeilen werden dabei entfernt, wenn die automatische Ergänzung eingeschaltet ist.

Hinweise in der Übersicht

  • Physische robots.txt im Ordner public - der Webserver liefert diese Datei direkt aus, Shopware kommt nicht zum Zug. "Datei deaktivieren" benennt sie um, sie bleibt als Sicherung erhalten.
  • robots-Regel in der .htaccess - eine Weiterleitung verhindert die Auslieferung durch Shopware. Die Regel von Hand entfernen.
  • Staging-Modus aktiv - Shopware sperrt dann alle Domains. Eigene Inhalte greifen erst nach dem Abschalten.

Deinstallation

Beim Deinstallieren ohne "Daten behalten" wird die Tabelle mit allen Inhalten gelöscht. Danach liefert Shopware wieder seinen Standard aus.

Support

Fragen beantworten wir direkt. Schreiben Sie uns über das Kontaktformular.