Emerce Conversion Rubriek maart 2018: Vier tips voor een zuiverdere A/B testpopulatie

Emerce Conversion Rubriek maart 2018: Vier tips voor een zuiverdere A/B testpopulatie

Conversion ➽ A/B-testen en bezoekersaantallen zijn een uitdagend probleem. De aantallen zijn vaak namelijk maar net hoog genoeg om significante verschillen te vinden. Lees daarom hoe je met een zuiverdere vergelijking meer kans hebt om winnaars te vinden.

Pre-test

Bezoekers zijn eigenlijk steeds korte tijdsblokken online met je in gesprek. En bij een test bepaal jij dat de helft van de bezoekers op­ eens een ander gesprek krijgt dan ze eerder had. Dit zorgt bij grote wijzigingen in de B ­variant er vaak voor dat in de eerste dagen de A­ variant beter presteert. Dat is immers dezelfde ervaring als voorheen. Door je expe­riment alleen te starten voor bezoekers die één be­sliscyclus niet op je testpagi­na(‘s) zijn geweest, heb je echter al een zuiverdere vergelijking tussen A en B.

Code in B én A

Om de B­-variant te tonen aan bezoekers wordt er bij client side testing ­ veruit de meest voorkomende variant ­ een stuk extra code geschreven. Deze code wordt alleen inge­laden in de B­-variant en kan zorgen voor een andere, lang­zamere laadtijd ervaring en ook flickering of extra wacht­ tijdeffecten. Dit werkt door­ gaans negatief voor het con­versiepercentage van B. Wat je wilt doen, is de code voor B meegeven aan de A­-variant en uitvoeren op een zodanige manier dat de bezoeker nog steeds de A ­ervaring heeft, maar met dezelfde laadtijd, flickering en wachttijd erva­ring als in de B-variant.

Voor wie test je?

Bezoekers moeten de kans dan wel tijd hebben om zich te laten motiveren door de aanpassingen in jouw B-­vari­ant. Iedereen die erg snel de website verlaat, een andere taak heeft of bijvoorbeeld niet scrollt naar jouw wijzi­ging, kan niet worden beïn­vloed. Deze bezoekers zullen dan ook in de A­ en de B­-vari­ant hetzelfde gedrag verto­nen. En daarmee zorgen voor een kleiner verschil in de stij­ging van het absolute conver­siepercentage in de beste va­riant. Door deze bezoekers eruit te filteren of analyse achteraf vind je sneller signifi­cante conversieverschillen.

Post-test

Je experiment is natuurlijk gestart voor de doorlooptijd van minimaal één besliscy­clus. Hier hebben echter al­leen de bezoekers profijt van die in het begin van het expe­riment hun beslistocht op jouw website zijn gestart. Be­zoekers die later zijn gestart, hebben aan het einde van de test het probleem dat wan­neer ze in B zaten, ze de ech­te beslissing uiteindelijk in A moeten maken (de test is im­mers voorbij). Zodra de test klaar is, wil je daarom geen nieuwe bezoekers meer toelaten. Maar bezoekers die in de test zaten nog minimaal één gemiddelde besliscyclus de tijd geven om hun beslis­sing helemaal af te ronden.


 

Ton Wesseling vult namens Online Dialogue iedere maand de terugkerende conversie-rubriek in Emerce magazine: het tijdschrift over “the next step in E-business”. Deze maand schrijft hij over: een zuivere A/B – testpopulatie.

Klik op de afbeelding om deze te vergoten, of download hier de pdf.

Zuiverdere A/B test populatie

Ton Wesseling - founding partner

Ton Wesseling (1974) is een ervaren online rendement consultant. Zijn inhoudelijke passie vervult hij als oprichter van Online Dialogue en Webanalisten.nl. Hij spreekt regelmatig op optimalisatie congressen in binnen en buitenland. Daarnaast organiseert hij events als Digital Data Tips Tuesdays, Outperform Conference en Conversion Hotel.
Sluit Menu