Emerce Conversion Rubriek maart 2019: Guardrail metrics

Emerce Conversion Rubriek maart 2019: Guardrail metrics

Conversie optimalisatie programma’s hebben in de basis één key metric om te bepalen of een experiment een positieve, danwel negatieve impact maakt. Guardrail metrics vertellen je of de gemeten uitkomst betrouwbaar is en geïmplementeerd mag worden.

Scheve verdeling

De ‘randomized controlled tri­al’, het experiment, is een heel krachtig middel om te bepalen wat het effect is van een aan­passing op de key metric van een bedrijf. Voorwaarde is wel dat de verdeling over de A- en B-variant ook echt random is. Om allerlei technische redenen kunnen hier fouten in ontstaan. In elk belangrijk gebruikerssegment (van de­vice tot browser, van klant tot prospect) wil je nagaan of de verdeling ook echt random is. Sample ratio mismatch checks leren je hoe groot de kans is dat de verdeling verkeerd is, waardoor je ook weet hoe groot de kans is dat de uitkomst van het experiment is ontstaan door de aanpas­singen of is ontstaan door een verkeerde verdeling van de bezoekers in het experiment.

Vervuiling

Tijdens het experiment wil je monitoren of er geen vervui­ling ontstaat in de populaties in A en B. Het is eenvoudig te meten of bezoekers beide varianten hebben gezien. Hoe meer dit gebeurt, hoe onwenselijker het is. Het kan echter ook gebeuren dat het mechanisme om bij te houden welke variant je hebt gezien niet goed werkt (cookies worden bijvoorbeeld niet goed geplaatst in de variant). Waar­door je in je metingen niet kunt achterhalen dat iemand beide varianten zag. Belangrijk dus om ook bij te houden of bezoekers het gehele techni­sche proces van het experi­ment goed doorlopen. Een hoge mate van fouten zorgt voor een hele andere gemeten uitslag dan het werkelijke verschil op de key metric door jouw experiment.

Fouten in de code

In je experiment voeg je code toe aan de website om de nieuwe variant te toetsen op je key metric. Deze nieuwe code kan echter de pagina vertragen of kan zorgen dat bepaalde functionaliteiten voor sommige groepen bezoekers (denk aan bepaalde browser/ device combina­ties) niet meer werken. Het monitoren van code error logs in beide varianten in het experiment, het meten van laadsnelheid en het meten van gedrag in browser/ device groepen is van belang om te bepalen of de uitslag van het experiment wel klopt. Het zou immers zo maar kunnen dat de aanpassing an sich een heel goed idee is, maar dat deze eerste technische uitvoer er voor zorgt dat in het expe­riment niet zichtbaar wordt dat het idee een heel positief effect zou kunnen hebben.

Andere key metrics

De meeste experimenten zijn gericht op het verhogen van het aantal unieke personen met een conversie. Een succesvol bezoek in ogen van de organisatie en de bezoeker. In het geval van een commer­ciële transactie als conversie kan het echter goed zijn dat het aantal unieke klanten stijgt, maar dat de gemiddelde orderwaarde aanzienlijk daalt. Bij het optimaliseren van een FAQ-omgeving kan het zijn dat het succesvol gebruik aan­zienlijk omhoog gaat, maar dat het aantal conversies daalt. Kijk daarom altijd naar het overzicht van alle key metrics voordat het resultaat van een experiment wordt bepaald. Bij voorkeur werk je met één ‘Overall Evaluation Criterion’, waarin meerdere key metrics gewogen het eindresultaat bepalen.


Ton Wesseling vult namens Online Dialogue iedere maand de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schreef hij over: Guardrail metrics.

Klik op de afbeelding om deze te vergoten.

guardrail metrics
Emerce Conversion Rubriek maart 2019

Sluit Menu