Slik Analyserer Du A / B-Testresultatene Dine Med Google Analytics

Slik Analyserer Du A / B-Testresultatene Dine Med Google Analytics

A/b-testverktøy som Optimizely eller VWO gjør testing enkelt, og det handler om det. De er verktøy for å kjøre tester, og ikke akkurat designet for ettertestanalyse. De fleste testverktøy har blitt bedre på det gjennom årene, men mangler fortsatt Hva Du kan gjøre Med Google Analytics-som er som alt.

når du kjører en test til du har nådd gyldighet (ikke det samme som signifikans), må du gjøre ettertestanalyse for å bestemme deg for veien videre.

Å Se på en oppsummeringsskjerm som dette er ikke nok:

Bruk disse at-a-glace-visningene for en rask sjekk for å se hva den generelle statusen er. Men du må gå utover når testen er «tilberedt».

testen din kan egentlig bare ende på 3 forskjellige måter:

1. Kontroll vinner
2. ingen forskjell
3. behandling (er) seier (er)

selv når testverktøyet vårt forteller oss at det er det endelige resultatet, er det ikke der jobben vår slutter. Du må gjennomføre post-test analyse. Og i de fleste tilfeller må DU GJØRE DET UTENFOR testverktøyet. Sure-Optimizely lar deg se resultatene på forhåndsdefinerte segmenter, men det er heller ikke nok.

du må integrere hver test Med Google Analytics

BÅDE Vwo og Optimizely kommer med innebygde google Analytics-integrasjoner, og data for hver test skal sendes Til Google Analytics. Det er ikke bare å forbedre analysefunksjonene dine, men også å være mer trygg på dataene. Testverktøyet ditt registrerer kanskje dataene på feil måte, og hvis du ikke har noen annen kilde til testdataene dine, kan du aldri være sikker på om du vil stole på det eller ikke. Opprette flere kilder til data.

Optimizely Classic

i Optimizely Classic sette opp integrasjonen er Under Prosjektinnstillinger:

Du vil definitivt bruke Universal Analytics i stedet For Klassisk Google Analytics. Hvis DU ikke har byttet ga tracker over ennå, gjør det så snart du kan.

Ikke bare vil du kunne dra nytte av nye GA-funksjoner, du kan ha opptil 20 samtidige a / B-tester som sender data Til Google Analytics. Med Classic er det bare 5.

og når dette er gjort på globalt nivå, må du velge et spor for hver test:

Pass på at det ikke er flere tester som bruker samme Egendefinerte Dimensjon (Eller Egendefinert Variabel For Klassisk) spor i GA – de vil overskrive hverandres data, og du kan ikke stole på det lenger. En test per slot.

Optimizely ‘ s manual har også en trinnvis instruksjon for denne integrasjonen, inkludert hvordan du setter opp egendefinerte dimensjoner.

Optimizely X

I Optimizely X må du gå Til Innstillinger og navigere Til Integrasjoner, der kan Du finne Google Universal Analytics, slå Den på.

når du har aktivert integrasjonen På Prosjektnivå, må du også aktivere den for hvert eksperiment ved å velge sporet (Egendefinert Dimensjon).

Akkurat som Med Optimizely Classic, bør du aldri velge samme spor for to tester som kjører samtidig.

for detaljert informasjon om hvordan du får integrasjonen i gang, inkludert oppretting Av Egendefinerte Dimensjoner I Google Analytics, ta en titt på guiden på deres hjemmeside.

VWO

når Det gjelder å integrere Google Analytics med dine vwo-eksperimenter, er alt du trenger å gjøre å velge riktig Tilpasset Dimensjon i andre-fanen I Eksperimentinnstillinger. Dette må gjøres med hvert eksperiment.

Som Med Optimizely, ett aktivt eksperiment per Tilpasset Dimensjon. Ellers risikerer du å overskrive noen av testdataene som er lagret I Google Analytics.

Mer informasjon om integrasjonen er tilgjengelig i en artikkel I vwos kunnskapsbase.

Tilgang til eksperimentdata I Google Analytics

når dette Er gjort, kan du se på ethvert testresultat I Google Analytics ved Hjelp Av Tilpassede Rapporter. Du kan gjøre rapporten viser deg alle data du vil:

noen variasjon har mer inntekter per bruker? Hvorfor er det – vel, la oss se på gjennomsnittlig vognverdi eller gjennomsnittlig mengde – disse beregningene kan kaste litt lys her.

Bruk uansett beregninger som er nyttige i ditt spesielle tilfelle. Sveip den egendefinerte rapporten som brukes i eksemplet her.

Merk At Google Analytics ikke vil fortelle deg noe om statistisk signifikans( p-verdier), effektnivåer, feilmarginer og så videre. Du må trekke dataene inn i Et Excel / Google-regneark eller noe der du automatisk beregner det. Ikke start analysen i GA før dataene er tilberedt. Pass på at den nødvendige prøvestørrelsen og betydningen + effektnivåene er der.

Send variasjoner som hendelser for å bruke avanserte segmenter (målgrupper)

Innebygd google Analytics-integrasjon er ikke idiotsikker. Noen ganger blir dataene ikke sendt videre, det er en 20% til 50% avvik-et eller annet sted blir en del av dataene tapt. Det kan være mange grunner til det, alt fra hvordan skriptene er lastet, i hvilken rekkefølge å skript tidsavbrudd og andre problemer. Jeg har jobbet med mange forskjellige problemer gjennom årene.

Min gode venn Ton Wesseling fortalte meg først om denne løsningen: send en hendelse Til Google Analytics hver gang en variant lastes inn.

alt du trenger å gjøre er å legge til en linje i test Global Javascript (utført for alle variasjoner), pluss en linje med hendelsessporingskode som siste linje for hver testvariasjon.

så dette er linjen du bør legge Til I Global Experiment Javascript console:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


Dette gjør AT GA tracker får all informasjon når den laster.

Her er hvor du Gjør Det I Optimizely. Åpne Først Innstillingene mens du redigerer en test:

Og nå velger Eksperiment Javascript. Legg til koden der:

og nå må du legge til en linje med hendelsessporingskode på slutten av hver variant (Inkludert Original). Du må bare endre Eksperiment-ID-nummeret og Navnet På Variasjonen:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


så hva koden gjør er å sende en hendelse TIL GA hvor hendelseskategorien Er Optimizely, handlingen Er Eksperiment-ID (du kan få DET fra NETTADRESSEN din mens du redigerer en test) og etiketten Er Variasjon1(kan også Være Original, Variasjon 2 etc). Ikke-interaksjon betyr at ingen engasjement registreres. Ellers vil bounce rate for eksperiment sider være 0%.

her er hvor du legger til koden I Optimizely:

Nå kan Du opprette segmenter I Google Analytics for hver av variasjonene.

Segmentoppsett:

Opprett separate segmenter for hver variasjon, og bruk dem på en hvilken som helst rapport du vil bruke. Så du kunne se noe slikt:

Kun Illustrerende data.

Det samme kan selvfølgelig gjøres Med Egendefinerte Dimensjoner. Bare sørg for at data konsistens er der – sammenlign takk sidebesøk, inntekter tall etc mellom Optimizely resultat panel OG ga tilpasset dimensjon eller hendelsesbasert rapport».

Ingen forskjell mellom testvariasjoner. Hva nå?

La oss si at det samlede resultatet er ‘ingen signifikant forskjell’ mellom variasjoner. Gå videre til noe annet? Ikke så fort. Hold disse 2 tingene i bakhodet:

1. Testhypotesen din kan ha vært riktig, men implementeringen sugde

La oss si at din kvalitative forskning sier at bekymring for sikkerhet er et problem. Hvor mange måter må vi beef opp oppfatningen av sikkerhet? Ubegrenset.

Du kan være inne på noe-akkurat slik du gjorde noe sugd. Hvis du har data som støtter hypotesen din, kan du prøve noen flere iterasjoner.

2. Bare fordi det ikke var noen forskjell samlet, kan behandlingen ha slått kontroll i et segment eller to.

hvis du har et løft i retur besøkende og mobile besøkende, men en dråpe for nye besøkende og desktop brukere-disse segmentene kan avbryte hverandre ut, og det virker som om det er et tilfelle av «ingen forskjell». Analyser testen på tvers av nøkkelsegmenter for å se dette.

Se på testresultatene i hvert fall på tvers av disse segmentene (sørg for at hvert segment har tilstrekkelig prøvestørrelse):

• Skrivebord vs Nettbrett/Mobil
• Ny vs Retur
• Trafikk som lander direkte på siden du tester mot, kom via intern lenke

hvis behandlingen din har gjort det bra for et bestemt segment, er det på tide å vurdere en personlig tilnærming for det aktuelle segmentet.

det er ingen forskjell, men Du liker B bedre Enn A

Vi er mennesker, og vi har personlige preferanser. Så hvis testen din sier at det ikke er noen signifikant forskjell mellom variasjoner – men du liker B bedre-det er egentlig ingen grunn Til ikke Å gå Med B.

hvis B er en brukervennlighet forbedring eller representerer merkevaren din bedre, gå for det. Men det er ikke gode grunner Til Å gå Med B hvis B utfører verre i en test.

Konklusjon

ikke stol på en enkelt datakilde,og gå dypere med analysen din enn bare å se på generelle resultater. Du finner flere gevinster og har bedre data for å ta beslutninger. Integrering av testverktøyet Ditt Med Google Analytics er en utmerket måte å gå om det.

(dette innlegget ble betydelig oppdatert September 2017)