Op donderdag 8 december 2022 waren Ton Wesseling en ik te gast bij Experimentation Elite in Londen. Experimentation Elite is het enige congres in het Verenigd Koninkrijk dat volledig gaat over CRO & Experimenteren. Het is een eendaags event met 11 sprekers en een paneldiscussie. Ton was een van de keynote sprekers op het event.
In deze blogpost bespreek ik de vijf belangrijkste inzichten die ik heb opgedaan tijdens Experimentation Elite 2022 in Londen.
1. Voer meta-analyses uit om inzichten uit je gehele programma te verkrijgen (Stephen Pavlovich)
Het leren van experimenten is een thema waar we bij Online Dialogue laatste tijd veel mee bezig zijn. Stephen Pavlovic van Conversion.com raadt aan om meta-analyses uit te voeren om inzichten uit je gehele CRO-programma te krijgen.
Hoewel A/B testen een betrouwbare vorm van onderzoek is, kan een A/B test onderhevig zijn aan statistische fouten. Ook kunnen experimenten resulteren in een winnaar, maar voor een andere reden dan aangegeven in je hypothese. Hierom moeten organisaties meta-analyses uitvoeren (meest betrouwbare vorm van onderzoek). In een meta-analyse worden soortgelijke A/B testen op dezelfde pagina’s samengenomen om zo een goed beeld te krijgen over wat werkt en wat niet.
Om tot een meta-analyse te komen zijn drie stappen nodig:
- Experimenteer framework: standaardiseer de categorisering van experimenten en de resultaten.
- Goede documentatie: Conversion.com en Online Dialogue gebruiken hier Airtable voor. Hier vind je een gratis online cursus over Airtable. Het werkt gemakkelijk in grote projecten en het geeft veel overzicht.
- Automatiseren: Automatiseer alles zodat het sneller en efficiënter wordt. Nog een voordeel van Airtable.
2. Experimenteren moet onderdeel zijn van de engineeringpijplijn (Stewart Ehoff)
Uit data van Optimizely blijkt dat er een groot gat bestaat tussen bedrijven die 1-20 experimenten per maand uitvoeren en bedrijven die 100+ doen. Het grote verschil tussen deze bedrijven: Bij de 100+ experimenten per maand zit experimenteren in de engineeringpijplijn. Bij de andere bedrijven zit CRO in een los team.
Hoe krijg je experimenteren bij engineering:
- Zorg voor de juiste technologie (server-side in plaats van client-side) en geef engineers volledig toegang in het proces.
- Maak experimenteren zo eenvoudig mogelijk door middelen beschikbaar te stellen.
- Spreek de taal van engineers.
- Vind voorstanders (degene die al enthousiast zijn over experimenteren) en geef hen een stem.
Wanneer je dit voor elkaar en experimenteren komt in je engineeringpijplijn krijg gaat de kwaliteit en snelheid van experimenteren aanzienlijk omhoog.
3. App testen is belangrijk en mogelijk, ondanks enkele technische uitdagingen (Gabriela Szpalerska)
Dat experimenteren in een app belangrijk is, spreekt voor zich. Toch beginnen veel organisaties er nog niet aan wegens de technische uitdagingen.
Er is meer development effort nodig, terwijl zij al een volle backlog hebben. Daarnaast moet een app release gedaan worden, die gebruikers moeten downloaden, om een experiment live te kunnen zetten.
Er zijn steeds meer technische oplossingen om zonder release experimenten op te zetten. Een andere oplossing komt overeen met punt twee hierboven: zorg dat experimenteren in de engineeringpijplijn komt.
4. Woorden zijn belangrijk (Eden Bidani)
Middels drie cases liet Eden Bidani zien hoe het juiste gebruik van tekst op verschillende pagina’s resulteerde in grote verbeteringen van de belangrijkste metrics. Om tot deze verbeterpunten te komen gebruikte ze steeds vijf vragen:
1. Waar komt het verkeer vandaan?
2. Welke staat van het aankoop proces spreekt de huidige copy aan?
3. Hoe lastig / eenvoudig is de tekst te begrijpen?
4. Heeft de gebruiker voldoende informatie om te converteren?
5. Wat is de gebruikers volgende stap?
Bij het beantwoorden van deze vijf vragen kom je er snel achter wat er mis is met de huidige copy en hoe je deze kan verbeteren.
Luistertip: https://www.marketingspark.co/in-a-fast-moving-add-world-words-really-matter/
5. Bruikbare tips om meer AB-testwinnaars te behalen (Ton Wesseling)
Wanneer een organisatie meer gaat experimenteren, gaat het aantal winnaars omlaag. De voornaamste reden: de kwaliteit gaat omlaag, er wordt onvoldoende risico genomen.
Ton zegt: “Valideren is niet een oplossing om risico te mijden. Het is een uitnodiging om meer risico te nemen.”
Wanneer je meer winnaars wilt behalen uit je experimenten moet je drie stappen ondernemen:
1. Begrijp de volledige customer journey (inclusief het businessmodel, concurrenten, alternatieven, en wetenschappelijk onderzoek)
2. Weet waar je het moet optimaliseren (grondig dataonderzoek)
3. Creëer veelbelovende veranderingen met verschillende soorten experimenten (transactional, informational en transformational), verschillende psychologische strategieën, gebaseerd op meta-analyses.
Wanneer je dit goed toepast, ga je meer winnaars vinden, meer leren en groei realiseren.
Experimentation Elite 2023
Op 28 juni 2023 staat het volgende Experimentation Elite op het programma. Bij deze editie zijn de rollen omgedraaid: Ton is te gast, en ik ben spreker. In deze editie zullen ook de Experimentation Elite Awards uitgereikt worden. Voorgaande edities vielen we in de prijzen en we doen hard ons best om volgend jaar weer te winnen!
Kortom, het was een zeer geslaagd event en we kijken uit naar de volgende!
