Experiment analyse tool

De tool stelt je in staat om in een keer het resultaat van een experiment te analyseren waarbij je naast het totaalresultaat ook verschillende segmenten kan analyseren en een sample ratio mismatch check doet voor verschillende groepen.

De tool werkt in Google Sheets. Via de Google Analytics API add-on wordt er data uit Google Analytics opgehaald. Gelijk aan een normale analyse in Google Analytics wordt een experiment geanalyseerd door via een filter de varianten te specificeren. Door middel van een segment worden de bezoekers geïsoleerd die ook daadwerkelijk het experiment gezien hebben en het experiment doel bereikt hebben.

Aan de slag met de experiment analyse tool

Ga naar de tool en maak een kopie van het bestand. Zo word je eigenaar en kan je alles aanpassen. Doorloop de onderstaande negen stappen zodat je een experiment kan analyseren via de tool:

Stap 1 - Specificeer en selecteer een Google Analytics account

Noteer de accountnaam en het corresponderende nummer in het ‘Input’ blad en selecteer deze in het ‘Settings’ blad.

Stap 2 - Selecteer analyse datum

Selecteer in het ‘Settings’ blad de analyse datum. Door dubbel te klikken op de datum opent er een handige selectie tool. Let op: de datum notatie is in het Amerikaans waarbij de maand als eerste staat genoteerd, dag als tweede en jaar als laatste (MM/DD/YY). Ik vind het ook het een vreselijke datumnotatie maar het is helaas nodig om bepaalde data zonder problemen op te halen.

Stap 3 - Specificeer experiment varianten

Allereerst moet de dimensie die wordt gebruikt om de experiment varianten te analyseren worden genoteerd in de rijen onder ‘Google Analytics dimension’. De Dimension & Metric Explorer kan helpen bij het selecteren van de juiste dimensie. Daarnaast moeten de varianten gespecificeerd worden onder het kopje ‘Variant targeting specification’, dit is de naam van de test + variant die naar Google Analytics wordt gestuurd.

Stap 4 - Specificeer en selecteer de te analyseren segmenten

In het ‘Input’ blad kunnen segmenten worden gecreëerd waarna deze in het ‘Settings’ blad gebruikt worden om een experiment te analyseren. Als je moeite hebt met het uitschrijven van segmenten kan je deze ook in de Google Analytics interface maken en daarna via de Query Explorer converteren naar een uitgeschreven code die de API kan gebruiken.

Daarnaast is het ook mogelijk om een extra conditie toe te voegen, dit kan bijvoorbeeld handig zijn als je het resultaat van Google Chrome gebruikers wilt analyseren.

Stap 5 - Selecteer extra segmenten om te analyseren

In deze stap kan je er voor kiezen om de resultaten op te splitsen per apparaatgroep en/of gebruikerstypes. Door de checkbox aan te kruisen wordt de analyse geactiveerd. De extra analyse kan nuttig zijn als er verschillende hypotheses zijn opgesteld per segment of als je een bepaald resultaat wilt doorgronden.

Stap 6 - Selecter extra rapporten om te analyseren

In deze stap kan je kiezen om ook een Sample Ratio Mismatch (SRM) check te doen. Bij een Sample Ratio Mismatch komt de steekproefverhouding niet overeen met het ontwerp van een experiment. Als je dit aanvinkt dan wordt er gecheckt of bij alle browsers, standaard kanaal groeperingen, gebruikerstypes, apparaatgroepen en op totaalniveau zich een fout voordoet. Als dit het geval is dan zal er in het ‘Results’ blad een SRM error verschijnen bij de groep waar de fout zich heeft voorgedaan. In het ‘SRM check’ blad kan worden gekeken waardoor de fout wordt veroorzaakt.

Waarom staat de check niet standaard aan?
Door de check worden er extra rapporten opgevraagd. Het is daarom optioneel zodat je kan kiezen om snelheid te waarborgen en query cost te besparen.

Stap 7 - Extra opties

Als je een Google 360 account tot je beschikking hebt kan je deze functie gebruiken om unsampled data aan te vragen. Let wel op: er zit een maximum aan het aantal aanvragen per uur en dag dus ga hier verstandig mee om. Lees deze pagina voor meer informatie.

Stap 8 - Geavanceerde analyse opties

Deze opties geven de mogelijkheid de analyse toe te spitsen aan je behoeftes. Over het algemeen analyseer je sessies, rapporteer je gebruikers en maak je gebruik van een indirect sequentieel segment. Maar niet elke situatie vraagt naar deze instellingen en als het nodig is kan het aangepast worden.

Bijvoorbeeld bij websites waar bezoekers meerdere aankopen doen tijdens het live staan van een experiment. Hierbij is het aan te raden om sessies te rapporteren in plaats van gebruikers. Anders zou je maar één aankoop zien in plaats van de meerdere aankopen die er zijn geweest.

Stap 9 - Start de analyse

Navigeer naar ‘Add-ons’, selecteer ‘Google Analytics’ en start de analyse door op ‘Run reports’ te klikken.

Onder de analyse stap zul je het aantal query’s/rapporten zien die worden opgevraagd. Hoe groter het aantal opgevraagde rapporten des te langer de wachttijd voor de analyse. Daarnaast kan met het aantal gecontroleerd worden of alles goed is gegaan. Als het aantal afwijkt van het aantal succesvol opgehaalde rapporten betekent het dat er iets is fout gegaan.

Analyse met de experiment analyse tool

Als alles is gelukt zul je het volgende scherm te zien krijgen waarbij je eerste de Sampled data indicator en de SRM check zal zien en daarna de resultaten van de geselecteerde segmenten.

Als er sampling is kan dit verholpen worden door gebruik te maken van onze anti-sampling tool . En als je up-to-date wil blijven van de resultaten van een test bekijk dan hoe je e-mail alerts zelf kan instellen.

Een kleine kanttekening: in het ‘Settings’, ‘SRM check’ en ‘Results’ blad is er een afbeelding toegevoegd die events naar Google Analytics stuurt als het blad laadt. Hierdoor kunnen wij zien hoeveel de tool gebruikt wordt. Als je het wilt verwijderen kan dit door de laatste regels in de hierboven genoemde tabbladen te verwijderen.

Tot slot

Deze experiment analyse tool is één van de vele toepassing van de Google Sheets add-on maar je zou al je analyses kunnen automatiseren. We hopen dat we hebben kunnen helpen om de experiment analyse tijd te verminderen.

Handige bronnen:

Google Analytics API – https://developers.google.com/analytics/devguides/reporting/core/v4/
Google Analytics API add-on for beginners – https://moz.com/blog/intro-google-analytics-add-on-for-sheets
Google Analytics API add-on – https://chrome.google.com/webstore/detail/google-analytics/fefimfimnhjjkomigakinmjileehfopp
Query Explorer – https://ga-dev-tools.appspot.com/query-explorer/
Dimension & Metric Explorer – https://ga-dev-tools.appspot.com/dimensions-metrics-explorer/
Segmenten maken – https://developers.google.com/analytics/devguides/reporting/core/v3/segments

CONTACT

Kunnen wij je ergens mee helpen?

Vul onderstaand formulier in en we nemen zo snel mogelijk contact op of bel ons (030 4100 170).