Handbuch A/B Testing.

Von der Anlage bis zur Entscheidung: Experiment einrichten, Varianten und Traffic verteilen, Laufzeit abschätzen, Ergebnisse richtig lesen und den Gewinner sicher veröffentlichen.

Systemvoraussetzungen

Shopware 6.7 mit Storefront und Erlebniswelten, PHP 8.2 oder neuer. Für aussagekräftige Ergebnisse braucht es genug Besucher - die Laufzeitschätzung im Plugin sagt dir vorab, wie viele.

Installation

ZIP im Admin unter Erweiterungen hochladen, installieren, aktivieren. Danach den Lizenz-Token eintragen; er ist an die Domain deines Shops gebunden.

Ein Experiment anlegen

Unter A/B Experimente legst du ein neues Experiment an: Name, Beschreibung, Typ der Seite und die Original-Erlebniswelt (A). Danach kommen die Varianten dazu - jede mit eigener Erlebniswelt und eigenem Traffic-Anteil.

Regeln: Mindestens eine Variante ist nötig, jede Variante braucht eine eigene Erlebniswelt, und keine darf dieselbe sein wie das Original. Die Summe der Anteile darf hundert Prozent nicht überschreiten.

Zielgruppe und Auswertung

Ein Experiment lässt sich auf einen Verkaufskanal begrenzen; ohne Auswahl gilt es für alle. Bots und Crawler sollten ausgeschlossen bleiben, sonst zählen Suchmaschinen als Besucher.

Das Konfidenzniveau bestimmt, ab welcher Sicherheit ein Ergebnis als signifikant gilt. Zusätzlich lässt sich eine Mindestzahl an Impressions je Variante verlangen.

Laufzeit abschätzen

Trage die erwartete Conversion Rate der Kontrollgruppe und den kleinsten Unterschied ein, den du nachweisen möchtest. Das Plugin schätzt daraus den Stichprobenbedarf je Variante.

Beide Werte sind optional und dienen nur der Abschätzung - sie beeinflussen die Messung nicht. Sie beantworten aber die entscheidende Frage: Reicht mein Traffic für diesen Test?

Starten, pausieren, beenden

Beim Start werden Besucher zufällig einer Variante zugeordnet und bleiben dabei. Ein laufendes Experiment lässt sich pausieren und später fortsetzen.

Beim Beenden wird der Gewinner ermittelt. Veröffentlicht wird er erst auf Anweisung - oder automatisch, wenn du die entsprechende Einstellung gesetzt hast.

Ergebnisse lesen

Ausgewiesen werden Conversion Rate, Umsatz je Besucher und der Verlauf durch den Trichter, jeweils je Variante.

Geduld: Solange die Mindest-Stichprobe nicht erreicht ist, sagt ein Vorsprung wenig. Frühe Ausschläge gleichen sich fast immer wieder aus.

Gewinner veröffentlichen

Beim Veröffentlichen wird die Originalseite mit der Gewinnervariante überschrieben. Ein Rollback stellt das Original wieder her, die Entscheidung ist also umkehrbar.

Aufräumen

Für Varianten entstehen Kopien der Erlebniswelt, erkennbar an der Kennzeichnung im Namen. Nach dem Test entfernt die Aufräumfunktion alle Klone, die zu keinem Experiment mehr gehören.

Problemlösung

Keine Daten: Das Experiment muss gestartet sein, und es braucht Besucher auf der getesteten Seite. Vor dem Start werden keine Daten erhoben.
Ergebnis wechselt ständig: ein Zeichen für zu kleine Fallzahlen. Mindest-Stichprobe anheben und den Test länger laufen lassen.
Lizenz wird nicht erkannt: Der Token ist an die Shop-Domain gebunden. Ohne hinterlegte Domain im Verkaufskanal schlägt die Prüfung fehl.

Support

Fragen gern direkt an uns - der Support kommt vom Entwickler. Über die Plugin Suite im Admin lässt sich zusätzlich ein Feature anfragen.

Alle Einstellungen

Jede Einstellung des Plugins mit Standardwert und Erklärung, in derselben Reihenfolge wie im Administrationsbereich. Die Texte stammen direkt aus dem Plugin (Version 2.3.0).

Allgemein

NameStandard: leer

Name des Experiments in der Übersicht.

BeschreibungStandard: leer

Freie Beschreibung, etwa die Hypothese hinter dem Test. Erscheint nur in der Verwaltung.

SeitentypStandard: Kategorie

Welche Art von Seite getestet wird: eine Kategorie, eine Erlebniswelt oder eine Produktdetailseite. Davon hängt ab, welche Auswahl darunter erscheint.

Original Erlebniswelt (A)Standard: -

Die bestehende Erlebniswelt, die als Kontrollgruppe A dient. Gegen sie treten die Varianten an.

KategorieStandard: -

Die Kategorie, auf der das Experiment läuft.

Varianten

NameStandard: Variante B

Name der Variante, etwa Variante B. Neue Experimente starten mit einer Variante B.

ErlebnisweltStandard: -

Die Erlebniswelt, die Besuchern dieser Variante gezeigt wird.

Traffic %Standard: 50

Anteil der Besucher in Prozent, die diese Variante sehen. Der Rest sieht das Original.

Konfiguration

Min. StichprobengrößeStandard: 200

Mindestanzahl Impressions pro Variante, bevor ein Ergebnis bewertet wird.

Gewinner automatisch veröffentlichenStandard: aus

Wenn aktiviert, wird die gewinnende Variante bei Experiment-Ende automatisch live geschaltet.

Zielgruppe und Auswertung

VerkaufskanalStandard: alle

Das Experiment läuft nur in diesem Verkaufskanal. Ohne Auswahl gilt es für alle.

Bots und Crawler ausschließenStandard: an

Suchmaschinen und andere automatische Zugriffe erhalten immer die Kontrollvariante und werden nicht gezählt.

KonfidenzniveauStandard: 95 %

Ab welcher Sicherheit ein Ergebnis als signifikant gilt. Zur Wahl: 90, 95 oder 99 Prozent.

Erwartete Conversion Rate der Kontrollgruppe in ProzentStandard: leer

Beide Werte sind optional und dienen nur der Laufzeitabschätzung.

Kleinster nachweisbarer Unterschied in ProzentStandard: leer

Beide Werte sind optional und dienen nur der Laufzeitabschätzung.

Zeitplanung

StartdatumStandard: leer

Ein Entwurf startet automatisch, sobald dieser Zeitpunkt erreicht ist. Das Plugin prüft das alle fünf Minuten. Leer startet das Experiment erst per Hand.

EnddatumStandard: leer

Ein laufendes Experiment wird nach diesem Zeitpunkt automatisch beendet und ausgewertet. Leer läuft es, bis es per Hand beendet wird.

Lizenz

Lizenz-TokenStandard: leer

Den Token erhältst du beim Kauf von Stone & Water. Er ist an die Domain deines Shops gebunden.

Verfügbarkeit

Direkt über Stone & Water

Ab sofort möglich

Monatlich19,99 €
Bester PreisJährlich179,99 €25 % günstiger

Alle Preise netto zzgl. USt.

Du kaufst die Lizenz direkt bei uns und bekommst eine Rechnung von uns. Installation per Upload im Admin ohne SSH, Updates über unsere Lizenzplattform, Support direkt vom Entwickler.

Direkt anfragen +49 2555 9997342

Shopware Store

In Vorbereitung

Das Plugin wird im offiziellen Shopware Community Store gelistet. Installation und automatische Updates laufen dann über den Plugin Manager im Backend, die Abrechnung über deinen Shopware-Account. Sobald verfügbar, verlinken wir es hier.