Hoe haal je meer learnings uit je experimenten? (1/3)

“Door deze test hebben we het volgende geleerd: We kunnen met 94.86% zekerheid zeggen dat de downlift van 5.14% valide is.” The end.

Onder het kopje “learnings” in A/B-test rapportages van verschillende bedrijven kom ik regelmatig dit soort zinnen tegen. Ik zou dit echter niet als een learning omschrijven. Want wat heb je hier nou echt van opgestoken? Hoe sluit dit aan bij de doelen die je wilde bereiken? Hoe gaat dit je vervolgplannen beïnvloeden? In deze serie van drie blogs leg ik uit welke drie onderdelen essentieel zijn wanneer je een goede A/B-test rapportage wilt schrijven en geef ik je concrete tips om je rapportages te verbeteren. Volg deze stappen om in de vingers te krijgen hoe je écht meer leert van je afgeronde experimenten!

Drie essentiële onderdelen van een goede rapportage

De drie onderdelen van een goede A/B-test rapportage
Figuur 1. De drie onderdelen van een goede A/B-test rapportage

In elke goed opgestelde rapportage moeten drie onderdelen terugkomen. Je kunt deze onderdelen onthouden aan de hand van een ezelsbruggetje: heden, verleden, en toekomst. Net zoals er drie dimensies van tijd zijn, zijn er dus ook drie onderdelen in je rapportage. Bij het verleden beschrijf je welke hypothese je wilde toetsen, en hoe je tot deze hypothese bent gekomen (de onderbouwing). Bij het heden beschrijf je de resultaten van de huidige A/B-test en wat je hiervan hebt geleerd. Bij de toekomst beschrijf je de aanbevelingen (implementeren of niet) en hoe je verder gaat bouwen op deze inzichten. Al deze onderdelen worden in deze blogserie toegelicht aan de hand van een voorbeeldcase voor een van mijn klanten.

De case: Wickey

Wickey is een online aanbieder van houten speeltoestellen voor in de tuin, zoals klimrekken, glijbanen, speelhuisjes en schommels. Samen met Wickey optimaliseren we hun website om beter aan te sluiten bij de ervaring en behoefte van de klanten, en op die manier Wickey te helpen verder te groeien. In deze blog beschrijf ik experimenten die we voor Wickey hebben gedaan.

Het verleden: Hypothese + onderbouwing

Het eerste onderdeel van een goede rapportage is een goed onderbouwde hypothese. Een hypothese is een goed onderbouwde voorspelling over toekomstig gedrag. Hypotheses hebben vaak de vorm van een “als-dan” statement. Minstens zo belangrijk als de daadwerkelijk opgestelde hypothese is de onderbouwing. Waarom verwacht je een bepaalde uitkomst (bijvoorbeeld een toename in conversie) als je een specifieke verandering op de website maakt? Je kunt deze verwachtingen onderbouwen met verschillende bronnen. Binnen Online Dialogue gebruiken we het 6V model, zie de afbeelding hieronder.

Online Dialogue’s 6V model
Figuur 2. Online Dialogue’s 6V model

Voorbeeld hypothese + onderbouwing: Wickey

De product detail pagina van Wickey
Figuur 3. De product detail pagina van Wickey

Bij de start van de samenwerking met Wickey hebben we uitgebreid onderzoek gedaan om inzicht te krijgen in het gedrag van de bezoekers. Hieruit kwam de product detail pagina als obstakel naar voren; veel bezoekers haakten af op deze pagina en gingen niet door naar de volgende stap (een product in het winkelmandje, of een afgeronde verkoop). Ook bleek uit click&scroll-maps dat veel bezoekers klikten op de knop “lees meer” bij de product beschrijving. De product beschrijving stond echter vrij laag op de pagina, bezoekers moesten hier dus ver voor scrollen. Op basis hiervan leek het probleem op de product detail pagina dat bezoekers nog niet genoeg informatie hadden om te kunnen besluiten of een specifiek speeltoestel aansloot bij hun wensen.

De product beschrijving is bij uitstek het onderdeel waar bezoekers informatie kunnen krijgen over het product, voor wie het geschikt is, welke onderdelen erbij horen, etc. Zeer relevante informatie dus voor bezoekers. Daarom besloten we een A/B-test te doen waarbij we de product beschrijving omhoogplaatsen op de pagina, boven de vouw (zie Figuur 4).

De originale product detail pagina (l) en de aangepaste pagina (r)
Figuur 4. De originele product detail pagina links (A variant), en de aangepaste product detail pagina rechts (B variant). In de B variant is de product beschrijving omhoog geplaatst.

 

De hypothese bij dit experiment was: door de productbeschrijving hoger op de pagina te plaatsen trekt het meer aandacht, en kunnen bezoekers makkelijker beslissen of het product aansluit bij hun wensen. Daardoor zullen meer bezoekers een product in hun mandje toevoegen, of een bestelling afronden.

De onderbouwing hiervoor is dat bezoekers product informatie nodig hebben om te kunnen besluiten of een product geschikt is, en dat die product informatie dus essentiële informatie bevat.

Checklist 1: verbeter je eigen hypothese & onderbouwing

Het schrijven van een goed onderbouwde hypothese is voor veel mensen een uitdaging. Dit is niet zo gek, want het vergt ook behoorlijk wat oefening. Een aantal vragen zijn belangrijk. Controleer in je eigen rapportages of je hier antwoord op geeft.

  • Beschrijf je welke uitkomstmaat je wilt beïnvloeden?
    Welke uitkomstmaat zou er volgens jou moeten veranderen? Zijn dit afgeronde aankopen, add-to-carts, doorkliks, belletjes naar de klantenservice, of iets anders? Benoem je dit? Zo nee → beschrijf dan duidelijker op welke uitkomstmaat je een verandering verwacht.Ook belangrijk hierbij is dat je uitlegt welke verandering je precies gaat maken in het experiment. Dus welke verandering ga je toetsen, en welke uitkomst verwacht je?
  • Leg je uit waarom je een verandering in deze uitkomstmaat verwacht?
    Op basis van welke bronnen of gegevens maak je deze voorspelling? Zijn dit eerdere experimenten? Bepaalde literatuur? Ideeën vanuit de organisatie, of best practices? Is het gebaseerd op feedback van je klanten? Beschrijf duidelijk waarom je deze verandering verwacht.

Meer weten?

Nu je weet wat het belang is van een goede hypothese en hebt geleerd welke aspecten bij een goed onderbouwde hypothese horen, is het tijd voor het analyseren van resultaten en het schrijven van een rapportage. Ben je benieuwd hoe je meer learnings uit je resultaten kunt halen en wil je weten hoe je een goede rapportage schrijft? Je leest er alles over in de volgende blogs!

dr. Florien Cramwinckel - behavioural expert

Florien wist op haar twaalfde al dat ze psychologie wilde studeren, en heeft dan ook zowel een bachelor als een research master diploma in sociale psychologie (beide cum laude). Daarna is ze gepromoveerd in de sociale psychologie op een proefschrift getiteld "The social dynamics of morality". Na afronding van haar PhD heeft ze nog jarenlang in de academische wereld gewerkt als wetenschappelijk onderzoeker en universitair docent. Florien heeft verschillende artikelen gepubliceerd in vooraanstaande wetenschappelijke tijdschriften (InMind), talloze cursussen gegeven, en meerdere prijzen gewonnen (o.a. beste ASW docent). Ze wordt regelmatig gevraagd als spreker voor nationale en internationale events, en heeft dan ook tientallen presentaties gegeven over uiteenlopende onderwerpen en op verschillende podia (zoals een presentatie voor de universiteit van Nederland over 'Waarom vind jij een vegetarier soms zo irritant?'. Sinds begin 2020 werkt ze bij Online Dialogue als senior gedragsexpert. Hier zet ze haar kennis en ervaring in om online klantgedrag te begrijpen, te voorspellen en te beïnvloeden. Ze schrijft artikelen en blogs, geeft en ontwerpt trainingen, ontwerpt testen, doet gedragsonderzoek en maakt gedragsanalyses. Daarnaast drinkt ze liters thee, verliest ze altijd met tafeltennis, houdt ze van hardlopen, boksen en tennissen, en is ze gek op haar roze gezin.