Learnings uit experimenten: de toekomst (3/3)

In de vorige blogs heb je alles kunnen lezen over het belang van een goede hypothese en hoe je een goede rapportage kunt schrijven. Het laatste onderdeel van een goede rapportage is beschrijven wat de vervolgstappen zijn. Ten eerste: Wat raad je aan? Zou de variant moeten worden geïmplementeerd of niet? Ten tweede, hoe ga je verder bouwen op deze bevindingen? Wat zijn de vervolg tests die je zou willen doen?

Als je besluit om een variant te implementeren, dan heb je een succesvolle test uitgevoerd. Op welke manier zou je hier nog verder op door kunnen gaan?Als je besluit om de variant niet te implementeren, dan heeft de test blijkbaar niet uitgepakt zoals je had gedacht. Hier komen je alternatieve verklaringen weer aan bod. Waar denk je dat deze uitkomst door is veroorzaakt? Hoe zou je hierop verder kunnen bouwen?

Verder testen op basis van eerder experiment: Wickey

Uit het gebruikte voorbeeld bleek dat het omhoogplaatsen van de product beschrijvingen op de website van Wickey een negatief effect had op add-to-carts en afgeronde bestellingen. De alternatieve verklaring is dat de informatieve waarde van de product beschrijvingen te laag was. Mogelijk had het omhoogplaatsen een averechts effect, omdat daardoor extra duidelijk werd dat bezoekers deze informatie niet goed konden gebruiken terwijl ze dat wel zouden willen. In een vervolgtest wilde ik voortbouwen op de resultaten en uitzoeken of product beschrijvingen inderdaad zo belangrijk waren voor bezoekers. In deze vervolgtest hebben we de productbeschrijvingen van de top-19 producten aangepast, met als doel de informatieve waarde te verhogen. In plaats van het de avontuurlijke, verhalende beschrijving, werden de productbeschrijvingen aangepast naar een meer informatieve beschrijving van de speeltoestellen.

De hypothese was: door de informatieve waarde in de productbeschrijvingen te verhogen, zullen cartviews en kliks op “lees meer” toenemen. De onderliggende onderbouwing was nog steeds hetzelfde: bezoekers hebben veel interactie met de “lees meer” button, wat waarschijnlijk betekent dat bezoekers de product beschrijvingen gebruiken om te bepalen of een product aansluit bij hun wensen.

Resultaten van vervolgexperiment
Figuur 1. Resultaten van vervolgexperiment

In Figuur 1 kun je de resultaten van het vervolgexperiment zien. Dit experiment was een grote winnaar. Cartviews gingen met 16% omhoog en kliks op “lees meer” waren zelfs met 383% (!) gestegen. Oftewel, de resultaten sloten heel goed aan bij de lijn van redeneren. Aanvullende maten lieten ook zien dat de tijd op de pagina was gestegen, waaruit je kunt afleiden dat bezoekers ook meer tijd besteden aan het lezen van de product beschrijvingen. Nu hielp het bezoekers blijkbaar wel om te beslissen of een speeltoestel aansloot bij hun wensen, want flink meer bezoekers maakte de vervolgstap in het aankoopproces. Wat we hieruit kunnen leren is dat de productbeschrijvingen dus inderdaad belangrijk voor bezoekers zijn, mits de informatieve waarde hoog genoeg is. De aanbevelingen voor dit experiment zijn dan ook om de B-variant te implementeren.

Daarnaast betekent dit dat het originele idee om de productbeschrijvingen omhoog te plaatsen wellicht opnieuw de moeite waard is om te testen, maar dan met de aangepaste en informatievere productbeschrijvingen. Vervolgstappen na afloop van deze test zijn dan ook het hertesten van het omhoogplaatsen, maar ook het verder verfijnen van de informatieve waarde van de product beschrijvingen. In Figuur 2 kun je een voorbeeld rapportage zien waarin elk onderdeel beschreven staat. Met kleurcodes is aangegeven welke stukjes bij welk onderdeel (heden, verleden, toekomst) horen.

Voorbeeldrapportage experiment. Kleuren geven aan bij welk onderdeel elk stuk hoort.
Figuur 2. Voorbeeldrapportage experiment. Kleuren geven aan bij welk onderdeel elk stuk hoort.

Checklist 3: Aanbevelingen en vervolgstappen verbeteren

  • Wil je de variant implementeren of niet?
    • Indien ja, hoe kun je dan doortesten op dezelfde richting?
    • Indien nee, welke test ideeën volgen er uit je alternatieve verklaringen?
  • Heb je alle onderdelen (heden, verleden, & toekomst) beschreven in je rapportage?

Conclusie

Meer leren van je afgeronde experimenten dan alleen de uplift blijkt vaak moeilijk. In deze blog zijn drie onderdelen beschreven die essentieel zijn voor een goede A/B-test rapportage. Namelijk het verleden, heden en de toekomst. Door deze onderdelen op te nemen in je rapportage kun je ervoor zorgen dat je van elk experiment dat je uitvoert zoveel mogelijk leert.

dr. Florien Cramwinckel - behavioural expert

Florien wist op haar twaalfde al dat ze psychologie wilde studeren, en heeft dan ook zowel een bachelor als een research master diploma in sociale psychologie (beide cum laude). Daarna is ze gepromoveerd in de sociale psychologie op een proefschrift getiteld "The social dynamics of morality". Na afronding van haar PhD heeft ze nog jarenlang in de academische wereld gewerkt als wetenschappelijk onderzoeker en universitair docent. Florien heeft verschillende artikelen gepubliceerd in vooraanstaande wetenschappelijke tijdschriften (InMind), talloze cursussen gegeven, en meerdere prijzen gewonnen (o.a. beste ASW docent). Ze wordt regelmatig gevraagd als spreker voor nationale en internationale events, en heeft dan ook tientallen presentaties gegeven over uiteenlopende onderwerpen en op verschillende podia (zoals een presentatie voor de universiteit van Nederland over 'Waarom vind jij een vegetarier soms zo irritant?'. Sinds begin 2020 werkt ze bij Online Dialogue als senior gedragsexpert. Hier zet ze haar kennis en ervaring in om online klantgedrag te begrijpen, te voorspellen en te beïnvloeden. Ze schrijft artikelen en blogs, geeft en ontwerpt trainingen, ontwerpt testen, doet gedragsonderzoek en maakt gedragsanalyses. Daarnaast drinkt ze liters thee, verliest ze altijd met tafeltennis, houdt ze van hardlopen, boksen en tennissen, en is ze gek op haar roze gezin.