Learnings uit experimenten: het heden (2/3)

In het eerste deel van deze serie van 3 blogs kon je alles lezen over het belang van een goede hypothese en welke aspecten bij een goed onderbouwde hypothese horen. Het tweede belangrijke onderdeel van een rapportage is het heden: Wat zijn de uitkomsten van het experiment? Het daadwerkelijke beschrijven van de uitkomsten lukt meestal wel. Denk aan informatie zoals “de uplift op orders was +3.5%” of “doorkliks daalden met -7.3%”. Oftewel, in dit onderdeel beschrijf je dus de resultaten (de cijfers) van een experiment.

Voorbeeld resultaten: Wickey

De resultaten uit het voorbeeld experiment
Figuur 1. De resultaten uit het voorbeeld experiment

In de afbeelding hierboven kun je de uitkomsten van het voorbeeld experiment zien. Ai ai ai. In tegenstelling tot verwachting was dit experiment een grote verliezer. Zowel de add to carts, als de afgeronde bestellingen waren flink naar beneden gegaan. Wat nu?

Dit is het punt waarop ik zie dat veel mensen hun rapportage zo snel mogelijk afraffelen. De mindset lijkt te zijn “dit is een verliezer, weg ermee, en op naar het volgende experiment.”. En ik begrijp het. Falen is pijnlijk. Maar dit is echt zonde. Je kunt veel meer uit je resultaten halen dan je denkt, en ik zal je uitleggen hoe.

Your results are a present. Unwrap them!

Probeer je resultaten te beschouwen als een kadootje, ook als het een verliezend experiment is. Als je alleen beschrijft wat de uplift of downlift op je uitkomsmaat was, zonder verder te kijken, dan is het alsof je een kadootje krijgt, het pakpapier bekijkt, en vervolgens het kado onuitgepakt in de kast zet. Kadootjes moet je uitpakken, en dat zelfde geldt voor de uitkomsten van de A/B-test.

Uitpakken van resultaten: Wickey

Een grote afname in zowel add-to-carts als in afgeronde verkopen, dat was natuurlijk niet in lijn met verwachtingen. Dus dit was een excellent moment om eens uit te zoeken waarom de uitkomst zo anders was dan verwacht. Ik ging terug naar mijn hypothese en de onderbouwing ervan. De hypothese was dat het omhoogplaatsen van de product beschrijvingen meer aandacht zou trekken, wat zou leiden tot meer add-to-carts en meer afgeronde bestellingen. De onderbouwing was de product beschrijvingen bezoekers helpen omdat ze informatie geven op basis waarvan bezoekers kunnen beslissen of het product aansluit bij hun wensen.

Uit de resultaten bleek inderdaad dat de productbeschrijvingen meer aandacht trokken, er waren namelijk 50% meer kliks op “lees meer” in de B variant (zie Figuur 1). Dit gedeelte van de hypothese werd dus wel ondersteund door de data.
Hoe zit het dan met de behulpzaamheid van de product beschrijvingen? Uit de resultaten bleek ook dat tijd op de pagina was gedaald. Dit paste niet bij de lijn van redenering: als de product beschrijvingen behulpzaam zouden zijn, dan zouden we verwachten dat mensen tijd besteden aan het lezen ervan, en dan zou tijd op de pagina eerder moeten stijgen dan dalen. Oftewel: uit die dalende tijd op pagina leidde ik af dat de product beschrijvingen ofwel niet werden gelezen door mensen, ofwel niet behulpzaam was.
Nou waarom zou deze productbeschrijving niet behulpzaam zijn? Tijd om eens kritisch te kijken naar de inhoud van de product beschrijvingen, zie Figuur 2.

Productbeschrijving van de Wickey MultiFlyer
Figuur 2. Productbeschrijving van de Wickey MultiFlyer

Hierboven zie je een productbeschrijving van een speeltoestel. Zoals je kunt lezen is deze productbeschrijving erg verhalend ingestoken, en lijkt het te zijn bedoeld voor de kinderen die gaan spelen met het toestel, in plaats van voor de ouders die het toestel daadwerkelijk moeten aanschaffen. Je kunt je voorstellen dat deze productbeschrijving echter niet veel inhoudelijke houvast geeft op basis waarvan potentiële kopers kunnen besluiten of het een geschikt toestel is. Hieruit blijkt dat een assumptie waar dit experiment op gebaseerd was –dat product beschrijvingen nuttige informatie leven aan bezoekers– wellicht niet klopt.

Mijn vervolgstap is dan om uit te zoeken of de lijn van redeneren, dat bezoekers de product informatie nodig hebben, wel klopt als de informatiewaarde van de productbeschrijving hoger is. Pas als ik dat weet, kan ik echt concluderen of de hypothese van dit experiment wel of niet klopt.

Checklist 2: Verbeter je resultaten & learnings

  • Heb je beschreven wat de uitkomst is van je experiment op de meest belangrijke uitkomstmaat? Beschrijf de verandering op de belangrijkste uitkomstmaten. Dus bijvoorbeeld een +5% uplift in conversie, of een -3% downlift in add-to-carts. Deze stap gaat meestal wel goed. Let op dat je hier ook vooral focust op de uitkomstmaat uit je hypothese, en niet op allerlei mogelijk interessante, maar niet gehypothetiseerde, rand bevindingen.
  • Hoe sluiten deze resultaten aan bij de hypothese? Is dit wat je had verwacht, of juist niet? Benoem dat expliciet. Gebruik zinnetjes zoals “in tegenstelling tot verwachtingen…” of “zoals verwacht….” zodat het voor de lezer gelijk duidelijk was of dit wel of niet ondersteunend is voor je lijn van redeneren.
  • Bedenk alternatieve verklaringen voor onverwachte bevindingen. Ga terug naar je onderbouwing → welk onderdeel van je onderbouwing wordt wel/niet ondersteund door data? Voor de onderdelen die niet ondersteund worden → wat zijn mogelijke verklaringen hiervoor? Je kunt hiervoor bijvoorbeeld gaan kijken naar verschillende segmenten, devices, metrics. Werp nog eens een kritische blik op je designs. Kun je afleiden waarom het niet goed heeft gewerkt? Dit is wél een goed moment om te kijken naar andere soorten metrics, die mogelijk een completer plaatje kunnen geven, of een alternatieve verklaring zouden kunnen ondersteunen of juist ontkrachten.

Meer weten?

Het laatste deel van een goede rapportage is beschrijven wat de volgstappen zijn. Wil je hier meer over weten? Je leest er alles over in de volgende blog!

dr. Florien Cramwinckel - behavioural expert

Florien wist op haar twaalfde al dat ze psychologie wilde studeren, en heeft dan ook zowel een bachelor als een research master diploma in sociale psychologie (beide cum laude). Daarna is ze gepromoveerd in de sociale psychologie op een proefschrift getiteld "The social dynamics of morality". Na afronding van haar PhD heeft ze nog jarenlang in de academische wereld gewerkt als wetenschappelijk onderzoeker en universitair docent. Florien heeft verschillende artikelen gepubliceerd in vooraanstaande wetenschappelijke tijdschriften (InMind), talloze cursussen gegeven, en meerdere prijzen gewonnen (o.a. beste ASW docent). Ze wordt regelmatig gevraagd als spreker voor nationale en internationale events, en heeft dan ook tientallen presentaties gegeven over uiteenlopende onderwerpen en op verschillende podia (zoals een presentatie voor de universiteit van Nederland over 'Waarom vind jij een vegetarier soms zo irritant?'. Sinds begin 2020 werkt ze bij Online Dialogue als senior gedragsexpert. Hier zet ze haar kennis en ervaring in om online klantgedrag te begrijpen, te voorspellen en te beïnvloeden. Ze schrijft artikelen en blogs, geeft en ontwerpt trainingen, ontwerpt testen, doet gedragsonderzoek en maakt gedragsanalyses. Daarnaast drinkt ze liters thee, verliest ze altijd met tafeltennis, houdt ze van hardlopen, boksen en tennissen, en is ze gek op haar roze gezin.