Hoe analyseer je je A/B-testresultaten met Google Analytics

Hoe analyseer je je A/B-testresultaten met Google Analytics

A/B-testtools zoals Optimizely of VWO maken testen eenvoudig, en dat is het zo ‘ n beetje. Het zijn instrumenten om testen uit te voeren, en niet echt ontworpen voor post-test analyse. De meeste testtools zijn er door de jaren heen beter in geworden, maar missen nog steeds wat je kunt doen met Google Analytics – wat net als alles is.

wanneer u een test uitvoert totdat u validiteit hebt bereikt (niet hetzelfde als significantie), moet u post-testanalyses uitvoeren om te beslissen over de te volgen weg.

zo naar een overzichtsscherm kijken is niet genoeg:

gebruik Deze at-a-glace weergaven voor een snelle controle om te zien wat de algemene status is. Maar je moet verder gaan dan zodra de test is “gekookt”.

uw test kan echt maar op 3 verschillende manieren eindigen:

1. wins
2. geen verschil
3. behandeling(en) win (s))

zelfs als onze testtool ons vertelt dat dat het eindresultaat is, is dat niet waar onze taak eindigt. Je moet post-test analyse uitvoeren. En in de meeste gevallen moet je dat doen buiten de testtool. Sure-Optimizely stelt u in staat om de resultaten over vooraf gedefinieerde segmenten te zien, maar dat is ook niet genoeg.

u moet elke test integreren met Google Analytics

zowel VWO als Optimizely worden geleverd met ingebouwde Google Analytics-integraties, en gegevens voor elke test moeten worden verzonden naar Google Analytics. Het is niet alleen om uw analysecapaciteiten te verbeteren, maar ook om meer vertrouwen te hebben in de gegevens. Uw testtool kan de gegevens onjuist registreren en als u geen andere bron voor uw testgegevens hebt, kunt u er nooit zeker van zijn of u deze wel of niet moet vertrouwen. Maak meerdere bronnen van gegevens.

Optimizely Classic

bij Optimizely Classic instellen is de integratie onder projectinstellingen:

u wilt zeker Universal Analytics gebruiken in plaats van klassieke Google Analytics. Als u nog niet overgestapt uw GA tracker over nog, Doe het zo snel als je kunt.

u kunt niet alleen profiteren van nieuwe GA-functies, u kunt tot 20 gelijktijdige A/B-tests gebruiken om gegevens naar Google Analytics te verzenden. Met Classic is het maar 5.

en zodra dit op globaal niveau is gedaan, moet u voor elke test een slot kiezen:

zorg ervoor dat er niet meerdere tests die dezelfde aangepaste dimensie gebruiken (of aangepaste variabele voor Classic) slot In GA – ze zullen elkaars gegevens overschrijven, en je kunt het niet meer vertrouwen. Eén test per slot.

Optimizely ‘ s handleiding bevat ook een stap-voor-stap instructie voor deze integratie, inclusief het instellen van aangepaste dimensies.

Optimizely X

In Optimizely X moet u naar Instellingen gaan en naar integraties navigeren, daar kunt u Google Universal Analytics vinden, deze inschakelen.

zodra u de integratie op projectniveau hebt geactiveerd, moet u deze ook voor elk experiment activeren door de sleuf te kiezen (aangepaste dimensie).

net als bij Optimizely Classic, moet u nooit dezelfde sleuf kiezen voor twee tests die tegelijkertijd worden uitgevoerd.

voor gedetailleerde informatie over hoe de integratie draaiende te krijgen, met inbegrip van het maken van de aangepaste dimensies in Google Analytics, neem een kijkje op de gids op hun website.

VWO

als het gaat om het integreren van Google Analytics met uw vwo-experimenten, hoeft u alleen maar de juiste aangepaste dimensie te kiezen in het tabblad anderen van Experiment-Instellingen. Dit moet bij elk experiment gebeuren.

net als bij Optimizely, één actief experiment per aangepaste dimensie. Anders riskeert u het overschrijven van een deel van de testgegevens die zijn opgeslagen in Google Analytics.

meer informatie over de integratie is beschikbaar in een artikel in de kennisbank van VWO.

toegang krijgen tot experimentgegevens in Google Analytics

zodra u klaar bent, kunt u elk testresultaat in Google Analytics bekijken met behulp van aangepaste rapporten. U kunt het rapport laten zien u alle gegevens die u wilt:

sommige variatie heeft meer omzet per gebruiker? Waarom is dat – nou laten we eens kijken naar de gemiddelde winkelwagen waarde of de gemiddelde hoeveelheid-die statistieken kunnen wat licht werpen hier.

gebruik alle metrics die nuttig zijn in uw specifieke geval. Veeg het aangepaste rapport dat in het voorbeeld hier wordt gebruikt.

merk op dat Google Analytics u niets zal vertellen over statistische significantie (p-waarden), vermogensniveaus, foutmarges enzovoort. Je zou nodig hebben om die gegevens te trekken in een Excel / Google spreadsheet of iets waar je automatisch berekenen dat. Start de analyse niet in GA voordat de gegevens zijn gekookt. Zorg ervoor dat de benodigde steekproefgrootte en significantie + vermogensniveaus aanwezig zijn.

stuur variaties als gebeurtenissen om geavanceerde segmenten (doelgroepen)

te gebruiken ingebouwde Google Analytics-integratie is niet onfeilbaar. Soms worden de gegevens niet doorgegeven, er is een 20% tot 50% discrepantie-ergens een of andere manier een deel van de gegevens verloren gaat. Er kunnen tal van redenen voor zijn, iets van hoe de scripts worden geladen, in welke volgorde om timeouts en andere problemen script. Ik heb met veel verschillende problemen te maken gehad door de jaren heen.

mijn goede vriend Ton Wesseling vertelde me eerst over deze tijdelijke oplossing: stuur een evenement naar Google Analytics elke keer dat een variatie wordt geladen.

het enige wat u hoeft te doen is één regel toevoegen aan het globale Javascript van de test (uitgevoerd voor alle variaties), plus een regel met event tracking code als de laatste regel voor elke testvariatie.

dit is de regel die u moet toevoegen in de JavaScript console van Global Experiment:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


dit zorgt ervoor dat de ga tracker krijgt alle informatie zodra het laadt.

hier doe je het in Optimizely. Open eerst de Instellingen tijdens het bewerken van een test:

en kies nu Experiment Javascript. Voeg de code daar toe:

en nu moet je een regel met event tracking code toevoegen aan het einde van elke variatie (inclusief origineel). Je moet gewoon het ID-nummer van het Experiment en de naam van de variatie wijzigen:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


dus wat de code doet is het verzenden van een evenement naar GA waar de event categorie is Optimizely, actie is Experiment ID( je kunt dat krijgen van uw URL tijdens het bewerken van een test) en label is Variation1 (kan ook origineel zijn, variatie 2 etc). Niet-interactie betekent dat er geen betrokkenheid wordt geregistreerd. Anders zou uw bounce rate voor experiment pagina ‘ s 0% zijn.

hier voegt u de code toe in Optimizely:

nu bent u in staat om segmenten te maken in Google Analytics voor elk van de variaties.

Segmentinstellingen:

maak afzonderlijke segmenten voor elke variatie en pas ze toe op elk rapport dat u wilt. Je kon iets als dit zien:

alleen illustratieve gegevens.

hetzelfde kan natuurlijk gedaan worden met aangepaste dimensies. Zorg ervoor dat de consistentie van de gegevens is er-vergelijk Dank u pagina bezoeken, omzet nummers etc tussen uw Optimizely resultaat paneel en ga aangepaste dimensie of event based rapport”.

geen verschil tussen de testvariaties. Wat nu?

stel dat het totale resultaat ‘geen significant verschil’ is tussen variaties. Verder gaan met iets anders? Niet zo snel. Houd deze 2 dingen in gedachten:

1. Uw testhypothese zou juist kunnen zijn geweest, maar de implementatie was waardeloos

stel dat uw kwalitatief onderzoek zegt dat bezorgdheid over veiligheid een probleem is. Op hoeveel manieren moeten we de perceptie van veiligheid verhogen? Onbeperkt.

je bent misschien iets op het spoor – net zoals je iets slecht deed. Als je gegevens hebt die je hypothese ondersteunen, probeer dan nog een paar herhalingen.

2. Alleen maar omdat er geen verschil in het algemeen, de behandeling zou hebben beat control in een segment of twee.

als u een lift krijgt in terugkerende bezoekers en mobiele bezoekers, maar een daling voor nieuwe bezoekers en desktopgebruikers-kunnen deze segmenten elkaar opheffen, en het lijkt alsof het een geval van “geen verschil”is. Analyseer uw test over belangrijke segmenten om dit te zien.

bekijk de testresultaten ten minste voor deze segmenten (zorg ervoor dat elk segment een adequate steekproefgrootte heeft):

• Desktop vs Tablet / Mobiel
• nieuwe vs retourneren
• verkeer dat direct landt op de pagina die u test vs kwam via interne link

als uw behandeling goed presteerde voor een specifiek segment, is het tijd om een gepersonaliseerde aanpak voor dat specifieke segment te overwegen.

er is geen verschil, maar je vindt B beter dan a

we zijn mensen, en we hebben persoonlijke voorkeuren. Dus als je test zegt dat er geen significant verschil is tussen variaties, maar dat je B beter vindt – dan is er geen reden om niet voor B te gaan.

als B een verbetering van de bruikbaarheid is of uw merkimago beter vertegenwoordigt, ga er dan voor. Maar dat zijn geen goede redenen om voor B te gaan als B slechter presteert in een test.

conclusie

vertrouw niet op één enkele gegevensbron en ga dieper in met uw analyse dan alleen kijken naar de algemene resultaten. U zult meer overwinningen vinden en betere gegevens hebben om beslissingen te nemen. Het integreren van uw testing tool met Google Analytics is een uitstekende manier om te gaan over het.

(dit bericht is significant bijgewerkt in September 2017)