ASO Case Study

Vorteile des A / B Testings von Screenshots

Hintergrund:

COUP war der führende Anbieter im Bereich der urbanen Mobilität. Ihr Angebot bestand aus einer App für die gemeinsame Nutzung von Elektrorollern (kurz: E-Scooter), die es den Nutzern möglich machte, alle verfügbaren E-Scooter in ihrer Umgebung zu finden, freizuschalten, anzuschauen und zu mieten. Mittlerweile wurde die gesamte COUP E-Scooter Flotte von TIER übernommen und unter deren Schirm im Mai 2020 wieder auf die Straße gebracht. Damals war COUP jedoch noch besonders im Bezug auf stabile Preise, langlebige Gogoro-Batterien und Benutzerfreundlichkeit am Markt überlegen. Sicherlich lässt sich sagen, dass COUP über einen langen Zeitraum, die beste Wahl für die gemeinsame Nutzung von E-Scootern in drei großen europäischen Städten war:

Berlin, Madrid und Paris. Als Marktführer auf ihrem Gebiet und mit großem Potenzial in der organischen Nutzerakquise, wurde COUP im April 2019 unser Kunde. Wir haben angefangen, sie bei der Entwicklung und Durchführung von Kampagnen zur App Store Optimierung (ASO) zu unterstützen. Dabei haben wir uns zwei Ziele gesetzt: 

  • Die organische Sichtbarkeit der COUP E-Scooter App zu erhöhen
  • Die Conversion Rate  (CVR) erhöhen, um die gesteigerte Sichtbarkeit in mehr Installationen zu wandeln

Dafür haben wir für COUP mehrere Wiederholungen der Keyword-Optimierung (KWO) durchgeführt, um organischen Search Traffic zu steigern und mit AB-Tests der Screenshots des App-Stores gearbeitet, um die Conversion Rate der App kontinuierlich zu optimieren. Da wir bereits in unserer anderen Case Study mit CodeCheck über Keyword-Optimierung gesprochen haben, werden wir uns dieses Mal unserer Erfolgsgeschichte mit COUP und der Optimierung der Konversionsrate (kurz CRO), mittels AB-Tests, widmen. AB-Testing ist, kurz gesagt, eine Methode zur Kontrolle von Ideen, die zur Optimierung der Conversion Rate   eingesetzt wird. Hierbei geht es ums Experimentieren im App Store. Wenn man eine Idee zur Verbesserung der Conversion Rate hat, sich aber nicht sicher ist, ob diese funktionieren wird, kann man mittels Experimentieren herausfinden, ob die Idee (und die Testvariante, die diese Idee verkörpert) besser ist als das, was derzeit verfügbar ist. Diese Methode wird AB oder Split-Testing genannt, da App-Nutzer hier in zwei oder mehrere Gruppen aufgeteilt werden und dann jeder Gruppe eine Variante auf der Grundlage einer Idee ausgespielt wird.

Das Problem:

Als wir unser ASO-Projekt mit COUP gestartet haben, war ihr bestehendes Set an Screenshots bereits gut. Es bestand aus einem weißen Hintergrund und einem sauberen, modernen, klaren Design. Die damalige Strategie war minimalistisch, einfach und direkt. Die Idee war, den Nutzern aus technischer Sicht zu erklären, was COUP als Anbieter für die gemeinsame Nutzung von E-Scootern zu bieten hat. Wir waren allerdings der Meinung, dass technische Aspekte möglicherweise eine große Anzahl potenzieller Kunden von COUP nicht ansprechen würden. Unserer Erfahrung nach, neigen Business-to-Consumer (B2C)-Marken wie COUP eher dazu, mehr Nutzer über emotionales, dynamisches Design oder andere Kommunikationsansätze als über technische Aspekte zu erreichen. Wir hatten einige Ideen, wie alternative Ansätze aussehen könnten. Was fehlte, war ein zuverlässiger Weg, um herauszufinden, was am besten funktionieren würde – und genau hier kam das AB-Testing ins Spiel.

Hier sind einige Screenshots, die COUP verwendet hat…

Die Lösung:

Anhand von Coups Screenshots aus dem App Store, haben haben wir drei  Kommunikationsstrategien entwickelt, die wir mit der Originalversion vergleichen konnten. Diese haben wir in drei Tests, die jeweils einen Monat andauerten, verwendet. Wir wollten sicherstellen, dass die Bedingungen kontinuierlich gleich blieben und der Traffic, der in jeder Variante erreicht werden konnte, so hoch wie möglich war (ein ABCD-Test würde jeder Variante nur 25% Traffic erlauben).

Unsere Strategie in diesem Projekt besteht nicht darin, schnell brauchbare Learnings zu ziehen oder schnelle Ergebnisse zu erzielen – das können wir später tun. Vielmehr geht es uns darum, strategisch wertvolle Erkenntnisse zu gewinnen, mit denen wir die komplette Roadmap von AB-Tests, die in der Zukunft anstehen, überprüfen können.

Schauen wir uns die neuen Testvarianten, die von Customlytics erstellt wurden, an:

Test 1

Die Idee hierbei ist die Veranschaulichung der Fahrt, die Nutzer von COUP erhalten können und ihnen anzeigt, wie sie am schnellsten von A nach B kommen. Der Hintergrund ist eine von der App replizierte Verkehrskarte, die diese Fahrt symbolisiert. Mit dabei sind außerdem ikonische Darstellungen von den drei Hauptstädten, in denen COUP operiert hat- nämlich Berlin, Paris und Madrid, die mehr aussagen, als tausend Worte. Außerdem haben wir hier den Kontrast zwischen dem Hintergrund und den Bildunterschriften erhöht, damit diese besser lesbar sind.

Test 2

Diese Variante kam einem „rebellischen“ Marketingansatz einen Schritt näher. Hier war die Idee, Promotions mittels sozialen Aspekten, Auszeichnungen, Gutscheinen und dem Mehrwert für die Nutzer in den Vordergrund zu rücken. Wir haben uns weniger auf die Karte im Hintergrund fokussiert, sondern ein bisschen mit der zweiten Markenfarbe – Grün – herumgespielt, um einen Kontrast zum Blau von Variante #1 herzustellen. Schließlich haben wir den Roller hevorgehoben, indem wir ihn ohne Fahrer gezeigt haben, um den Vorteil,, den die Nutzer bei COUP erhalten konnten, zu betonen: Einen hochwertigen, sicheren, langlebigen und modernen E-Scooter.

Test 3

Dieser Ansatz geht am ehesten in Richtung “rebellisches Marketing”. Schon so sehr, dass er ein wenig skurril und unkonventionell wirkt. Wir wollten die „wilde“ Seite der COUP Nutzer entdecken und herausfinden, ob so etwas Ungewöhnliches einen Unterschied macht. Wir haben den Ansatz als ein Free-Flow-Testgelände, auf dem wir uns austoben und rumspielen konnten, genutzt. Damit waren wir in der Lage, mehrere Aspekte von den Screenshots der App kennenzulernen, anstatt auf Nummer sicher zu gehen. Wir haben beide Markenfarben von COUP, den fahrerlosen Roller sowie einen flachen Hintergrund aus Variante #2 behalten. Die Geschichte mit der Fahrt von A nach B als auch die Symbole, haben wir allerdings aus Variante #1 entnommen- mit stärkerem Fokus auf das Produkt statt auf die Städte.

Das Ergebnis:

Das erste Ergebnis, nachdem wir Variante #1 gegen die ursprüngliche Version (die Kontrollvariante) getestet hatten, war sehr positiv. Laut Statistiken des Google Play Store Listing Experiments (der von uns primär verwendeten AB-Testplattform), wäre die Testvariante #1 bei der Optimierung der Conversion Rate um 20% effektiver als die Kontrollvariante. Das ist bereits ein großer Erfolg. 

Mit diesem Ergebnis haben wir dann Folgendes gemacht:

  • Wir haben die Screenshots der Kontrollvariante durch die Screenshots der Testvariante #1 ersetzt
  • Wir haben die zweite Runde mit Testvariante #2 vorbereitet, die dann gegen Testvariante #1 getestet werden sollte

Das Ergebnis des zweiten Tests war eine Niete. Das bedeutet, dass Testvariante #1 besser abgeschnitten hat als Testvariante #2. Anstatt das als Misserfolg zu werten, sind wird damit als Learning umgegangen. Es hat uns dabei geholfen, die Prioritäten in der CRO-Strategie von COUP zu überdenken. Beispielsweise würden wir die blaue Markenfarbe der grünen vorziehen und die Fahrt von A nach B erzählen, anstatt Promotions abzubilden.

Als nächstes haben wir Testvariante #3 heran genommen und sie gegen Testvariante #1 ausgespielt. Ähnlich wie beim zweiten Test, war das Ergebnis eine Niete- die Marge war hier allerdings größer. Dadurch konnten wir die meisten Zweifel, die wir hatten, ausräumen. Jetzt wussten wir, dass „schräg“ nichts für COUP ist und es am besten wäre, diesen Ansatz zu vermeiden.

Fazit:

Nach einem dreimonatigen AB-Testprojekt ist es uns gelungen, unseren Kunden COUP dabei zu unterstützen, viel über ihren Markt und ihre Nutzer zu lernen. Außerdem haben wir ihnen dabei geholfen, eine Grundlage für die Optimierung der Conversion Rate zu schaffen. Kurzum umfassen unsere Ergebnisse folgendes:

+ 0 %
Erhöhung der CVR
+ 0
Testvarianten
+ 0
Bestätigte Strategie zur Skalierung
+ 0
Glücklicher Kunde

Was wir mit unserer Unterstützung für COUP optimiert haben, war wichtig, aber ist nur ein kleiner Teil des App-Marketings. In Fällen wie diesem, empfehlen wir, auch Performance-Marketing-Kampagnen auszusteuern, um den Traffic zu erhöhen, den alle A/B-Tests benötigen, um Ergebnisse mit hoher statistischer Signifikanz zu erreichen. 

Euch interessiert, wie wir anderen Kunden im Performance Marketing unterstützen? Bleibt dran!

Mehr über App Store Optimierung lernen

Interesse an diesem Marketing Service?