7 Gründe, warum du keine A/B-Tests machst & warum jeder Grund eine Ausrede ist

A/B-Testing ist mit Abstand die Online-Marketing-Taktik mit dem höchsten ROI, die ich kenne. Trotzdem macht die überwältigende Mehrheit der Leser hier keine A/B-Tests.

Ich meine das nicht böse, aber aus meiner Erfahrung und zahllosen Gespräche mit anderen Unternehmen weiß ich, dass fast niemand wirklich A/B-Tests durchführt. Das hat eine Vielzahl von Gründen – unter anderem:

• Einige wissen nicht, was ein A/B-Test ist (laut Wikipedia: "A-B-Test ist eine Testmethode für Werbetestzwecke, bei der eine Originalversion eines Werbemittels gegen eine veränderte Version getestet wird")
• "Wir haben nicht genug Traffic"
• "Das ist technisch viel zu kompliziert"
• "Wir haben nicht genug Zeit"
• "Unser Produkt/Sales-Funnel ist extrem kompliziert. Man kann gar nicht sagen, ob eine Veränderung auf der Webseite tatsächlich zu einer Steigerung des Umsatzes führt oder nicht"
• "Wir wissen gar nicht, was wir testen sollen"
• "A/B-Tests sind kein guter Ersatz für Kreativität und Vision"

Ich werde jetzt einfach mal jeden dieser Gründe dieser Ausreden einzeln anschauen und erklären, warum sie genau das sind – Ausreden.

Unwissen über A/B-Tests

OK. Der erste Punkt auf der Liste ist wirklich keine Ausrede. Wenn man etwas nicht kennt, dann ist es ein guter Grund es nicht zu tun 🙂

Was sind also A/B-Tests?

Bei einem A/B-Test (oder auch Split-Test) werden alle Besucher einer Webseite in zwei Gruppen aufgeteilt: Gruppe A sieht die normale Webseite, Gruppe B sieht eine veränderte Variante der Webseite.

Die Änderungen können dabei sehr klein (andere Überschrift, andere Farben, neue Bilder) oder riesig (komplett neues Website-Design) sein. Es hat sich auf jeden Fall etwas sichtbar für den Besucher verändert.

Für beide Gruppen wird dabei die Konversionsrate für ein Ziel (z.B. Anmelden für einen Newsletter, Kauf des Produktes, Erwerb einer Mitgliedschaft, etc) bestimmt. Dabei wird außerdem geprüft, ob eine der beiden Varianten der Webseite zuverlässig & dauerhaft bessere Ergebnisse in der Konversionsrate erreicht.

Zusammengefasst: Mit A/B-Tests kann man (wissenschaftlich) messen, ob eine Änderung an der Webseite zu mehr Geld in der Kasse führt.

Nicht genug Traffic für A/B-Tests

Der zweite Punkt auf der Liste ist noch teilweise ein echter Grund: Wenn die Webseite weniger als etwa 3.000 Besucher pro Monat hat, dann ist Split-Testing ein mühsamer und langwieriger Prozess.

Der Grund ist, dass man etwa 3.000 Besucher – die dem Split-Test ausgesetzt werden – braucht, um kleine Änderungen sicher feststellen zu können. Gleichzeitig will man mindestens einen Test pro Monat durchführen, damit es Spaß macht und Fortschritte sieht.

Bei A/B-Tests muss man bedenken, dass 9 von 10 Tests nur kleine Verbesserungen bringen oder sogar schlechter sind als das Original. Der eine Test, der funktioniert, ist dafür so gut, dass er den Aufwand locker rechtfertigt. Mit einem Test pro Monat hat man also – recht sicher – einen überwältigenden Erfolg pro Jahr.

Split-Tests sind technisch kompliziert umzusetzen

Jetzt kommen wir zu den echten Ausreden: "Split-Testing ist kompliziert in unser Produkt einzubauen". Bullshit!

Ich denke, dass 95% aller A/B-Tests mit Tools wie Optimizely oder Visual Website Optimizer umsetzbar sind. Damit reduziert sich der Aufwand darauf einen Javascript-Schnippsel in die Webseite einzubauen. Der Rest ist klassisches Point&Click.

Für die restlichen 5% gibt es vorgefertigte Lösungen in praktisch jeder gängigen Programmiersprache.

Selbst wenn man nicht alles testen kann, weil es an irgendeiner Stelle doch zu kompliziert wird, hat man immernoch 99%, die man testen kann.

"Wir haben gar nicht genug Zeit für Tests"

Mit den oben genannten Tools Optimizely beziehungsweise Visual Website Optimizer dauert das Aufsetzen eines A/B-Tests zwischen 5 und 10 Minuten.

Verglichen mit den üblichen, stundenlangen Meetings in denen über die richtige Überschrift für die Homepage diskutiert wird, spart man damit sogar jede Menge Zeit. Abgesehen davon, dass man am Ende wenigstens sicher weiß, welche Überschrift denn nun am besten funktioniert.

Und außerdem: Willst du mir wirklich verkaufen, dass du in einem Monat nicht einmal 20 Minuten aufbringen kannst? Mal ernsthaft, wenn das das Problem ist, dann stell einfach am 1. jeden Monats den Wecker eine halbe Stunde früher. Lohnen wird es sich alle Mal…

Das Produkt/Der Funnel ist zu kompliziert für A/B-Tests

OK. Der war echt neu für mich, als ich ihn vor zwei Wochen zum ersten Mal gehört habe. Aber er geht ungefähr so: "Unser Produkt verkauft sich nicht nur über die Webseite, sondern viele Kunden schreiben uns vorher eine E-Mail oder rufen an und haben Fragen. Unser Produkt ist nicht einfach nur ein Online-Shop oder eine Webseite."

Anders ausgedrückt: Bei so vielen Variablen, wie soll man sich da sicher sein, dass ausgerechnet die Änderung der Überschrift unseren Umsatz um 15% erhöht hat?

Auf den ersten Blick macht das natürlich Sinn: Ein (Online-)Produkt ist unheimlich kompliziert und hat sehr viele Stellschrauben.

Glücklicherweise wurde dieses Problem vor ein paar hundert Jahren mit der Entdeckung der Stochastik und der verbreiteten Anwendung der wissenschaftlichen Arbeitsweise schon für uns gelöst.

Also zunächst ein paar stochastische Grundlagen: Um den p-Wert einer Hypothese zu berechnen, muss man nur… Bullshit. Das interessiert natürlich keinen wirklich. Schauen wir uns lieber an wie neue Medikamente getestet werden:

1. Man teilt alle Test-Patienten zufällig in zwei Gruppen A und B auf
2. Gruppe A erhält das neue, zu testende Medikament; Gruppe B erhält eine Pille ohne irgendeinen Wirkstoff (man nennt das Placebo)
3. Nach Abschluss des Tests vergleicht man die beiden Gruppen
4. Sind in Gruppe A deutlich mehr Patienten geheilt als in Gruppe B, dann muss die Ursache dafür im Medikament liegen

Die Gewissheit erreicht man durch eine ausreichend große Anzahl an Patienten und durch die zufällige Verteilung aller Patienten in eine der beiden Gruppen. Denn wenn genug Probanden in jeder Gruppe sind, dann gibt es nur noch einen einzigen Unterschied zwischen den beiden Gruppen: Den Wirkstoff.

Genau so ist es auch bei A/B-Tests. Wenn genug Besucher in beiden Gruppen sind, dann gibt es zwischen den Gruppen keinen Unterschied mehr – außer den A/B-Test. Im Durchschnitt sind die Gruppen dann gleich alt, haben gleiches Einkommen, gleich viele Frauen & Männer, genauso oft die Hotline angerufen und so weiter und so fort.

Split-Tests sind kein Ersatz für Kreativität

Richtig, diese Aussage stimmt vollkommen. Das Problem ist nur: Sie geht am Thema komplett vorbei.

A/B-Tests sind ein Werkzeug, um zu prüfen, ob eine kreative Idee auch einen Nutzen in der Welt hat. Die Ideen muss man immer noch selbst haben.

Niemand käme auf die Idee zu behaupten, dass Architekten unkreativ sind nur weil sie einen Taschenrechner benutzen (damit das Gebäude nicht direkt wieder einfällt). Maschinenbauer entwerfen und testen/simulieren ihre Maschinen am Computer und trotzdem ist ihre Arbeit äußerst kreativ. Autoren lassen ihre Bücher Korrekturlesen. Warum soll jetzt plötzlich die Kreativität aus dem Marketing weg sein, weil man A/B-Tests macht?

"Wir wissen nicht was wir testen sollen"

Und damit sind wir am Ende der Liste angelangt und dieser Punkt ist vielleicht wieder einer, der halbwegs gültig ist.

Den wirklich perfekten, überaus kreativen, genialen A/B-Test aufzusetzen ist sicherlich nicht einfach und irgendwann gehen einem dann "gefühlt" die Ideen aus.

Aber es muss ja nicht immer super kreativ sein. Lieber testet man was ganz einfaches, als gar nicht zu testen. Mein Freund Brecht Palombo hat auf seiner Webseite www.distressedpro.com aus Ideenmangeln eines Tages die Button-Farbe getestet (der gefürchtete Klassiker) und tatsächlich seine Konversionsrate um 34% gesteigert.

Fazit: Lieber irgendwas testen, könnte ja aus Versehen mal richtig gut gehen.

Falls dir absolut keine Idee kommt, schreib mir einfach eine E-Mail mit deiner Webseite. Dann finden wir schon gemeinsam was. 🙂

Geht los und testet!

Der wichtigste Punkt hier ist, dass du testen sollst. Leg' los und bleibe am Ball. A/B-Tests können Spaß machen, wenn nicht beim Entwerfen, dann doch beim Blick auf das eigene Bankkonto 🙂

-Christoph