Sådan analyserer du dine A / B-testresultater med Google Analytics

Sådan analyserer du dine A / B-testresultater med Google Analytics

a/b-testværktøjer som Optimisely eller VVO gør test let, og det handler om det. De er værktøjer til at køre tests, og ikke ligefrem designet til post-test analyse. De fleste testværktøjer er blevet bedre til det gennem årene, men mangler stadig, hvad du kan gøre med Google Analytics – hvilket er som alt.

når du kører en test, indtil du har nået gyldighed (ikke det samme som Betydning), skal du foretage analyse efter test for at beslutte vejen frem.

det er ikke nok at se på en oversigtsskærm som denne:

Brug disse at-a-glace-visninger til en hurtig kontrol for at se, hvad den samlede status er. Men du skal gå ud over, når testen er”kogt”.

din test kan virkelig kun ende på 3 forskellige måder:

1. Kontrolgevinster
2. ingen forskel
3. behandling(er) sejr (er)

selv når Vores testværktøj fortæller os, at det er det endelige resultat, er det ikke her, vores job slutter. Du skal foretage analyse efter test. Og i de fleste tilfælde skal du gøre det uden for testværktøjet. Sikker på-optimalt giver dig mulighed for at se resultaterne på tværs af foruddefinerede segmenter, men det er heller ikke nok.

du skal integrere hver test med Google Analytics

både VO og optimalt leveres med indbyggede Google Analytics-integrationer, og data for hver test skal sendes til Google Analytics. Det er ikke kun for at forbedre dine analysefunktioner, men også for at være mere sikker på dataene. Dit testværktøj registrerer muligvis dataene forkert, og hvis du ikke har nogen anden kilde til dine testdata, kan du aldrig være sikker på, om du vil stole på det eller ej. Opret flere datakilder.

optimalt klassisk

i optimalt klassisk opsætning er integrationen under Projektindstillinger:

du vil helt sikkert bruge Universal Analytics i stedet for klassisk Google Analytics. Hvis du ikke har skiftet din GA tracker endnu, skal du gøre det så hurtigt som muligt.

ikke kun vil du være i stand til at drage fordel af nye GA-funktioner, du kan have op til 20 samtidige A/B-tests, der sender data til Google Analytics. Med Classic er det kun 5.

og når dette er gjort på globalt plan, skal du vælge en plads til hver test:

sørg for, at der ikke er flere tests, der bruger den samme brugerdefinerede Dimension (eller brugerdefineret variabel til klassisk) slot i GA – de overskriver hinandens data, og du kan ikke stole på det længere. En test pr slot.

Optimisely ‘ s manual har også en trinvis vejledning til denne integration, herunder hvordan du opretter brugerdefinerede dimensioner.

optimalt

i optimalt skal du gå til Indstillinger og navigere til integrationer, hvor du kan finde Google Universal Analytics, tænde den.

når du har aktiveret integrationen på projektniveau, skal du også aktivere den for hvert eksperiment ved at vælge slot (brugerdefineret Dimension).

ligesom med Optimisely Classic, bør du aldrig vælge den samme slot til to tests, der kører på samme tid.

for detaljerede oplysninger om, hvordan du får integrationen til at køre, herunder oprettelse af de brugerdefinerede dimensioner i Google Analytics, Se vejledningen på deres hjemmeside.

VO

når det kommer til at integrere Google Analytics med dine VO-eksperimenter, er alt hvad du skal gøre at vælge den rigtige brugerdefinerede Dimension i fanen andre i Eksperimentindstillinger. Dette skal gøres med hvert eksperiment.

som med Optimisely, et aktivt eksperiment pr brugerdefineret Dimension. Ellers risikerer du at overskrive nogle af de testdata, der er gemt i Google Analytics.

flere oplysninger om integrationen findes i en artikel i VVO ‘ s vidensbase.

adgang til eksperimentdata i Google Analytics

når det er gjort, kan du se på ethvert testresultat i Google Analytics ved hjælp af brugerdefinerede rapporter. Du kan få rapporten til at vise dig de ønskede data:

nogle variationer har flere indtægter pr. bruger? Hvorfor er det – lad os se på gennemsnitlig vognværdi eller gennemsnitlig mængde – disse målinger kan kaste lys her.

Brug de målinger, der er nyttige i dit særlige tilfælde. Stryg den brugerdefinerede rapport, der bruges i eksemplet her.

Bemærk, at Google Analytics ikke fortæller dig noget om statistisk signifikans (p-værdier), effektniveauer, fejlmarginer og så videre. Du skal trække disse data ind i et Google-regneark eller noget, hvor du automatisk beregner det. Start ikke analysen i GA, før dataene er kogt. Sørg for, at den nødvendige stikprøvestørrelse og betydning + effektniveauer er der.

Send variationer som begivenheder for at bruge avancerede segmenter (målgrupper)

indbygget Google Analytics-integration er ikke idiotsikker. Nogle gange overføres dataene ikke, der er en uoverensstemmelse på 20% til 50% – et eller andet sted går en del af dataene tabt. Der kan være mange grunde til det, alt fra hvordan scripts er indlæst, i hvilken rækkefølge at script timeouts og andre problemer. Jeg har behandlet mange forskellige problemer gennem årene.

min gode ven Ton Vesseling fortalte mig først om denne løsning: send en begivenhed til Google Analytics, hver gang en variation indlæses.

alt hvad du skal gøre er at tilføje en linje til test Global Javascript (udført for alle variationer) plus en linje med hændelsessporingskode som den sidste linje for hver testvariation.

så dette er den linje, du skal tilføje i den globale eksperiment Javascript-konsol:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


dette sikrer, at GA tracker får alle de oplysninger, når det indlæses.

her er hvor du gør det optimalt. Åbn først indstillingerne, mens du redigerer en test:

vælg eksperiment Javascript. Tilføj koden der:

og nu skal du tilføje en linje med begivenhedssporingskode i slutningen af hver variation (inklusive Original). Du skal bare ændre eksperimentets ID-nummer og navnet på variationen:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


så hvad koden gør er at sende en begivenhed til GA, hvor begivenhedskategorien er optimeret, handling er eksperiment-ID (Du kan få det fra din URL, mens du redigerer en test) og etiketten er Variation1 (kan også være Original, Variation 2 osv.). Ikke-interaktion betyder, at der ikke registreres noget engagement. Ellers ville din afvisningsprocent for eksperimentsider være 0%.

her er hvor du tilføjer koden optimalt:

nu Kan du oprette segmenter i Google Analytics for hver af variationerne.

Segmentopsætning:

Opret separate segmenter for hver variation, og anvend dem på en hvilken som helst rapport, du ønsker. Så du kunne se noget som dette:

kun Illustrative data.

samme ting kan naturligvis gøres med brugerdefinerede dimensioner. Bare sørg for, at datakonsistensen er der – sammenlign tak sidebesøg, indtægtsnumre osv.mellem dit optimistiske resultatpanel og GA tilpasset dimension eller begivenhedsbaseret rapport”.

ingen forskel mellem testvariationer. Hvad nu?

lad os sige, at det samlede resultat er ‘ingen signifikant forskel’ mellem variationer. Gå videre til noget andet? Ikke så hurtigt. Husk disse 2 ting:

1. Din testhypotese kunne have været rigtig, men implementeringen sugede

lad os sige, at din kvalitative forskning siger, at bekymring for sikkerhed er et problem. Hvor mange måder har vi til at øge opfattelsen af sikkerhed? Ubegrænset.

du kan være på noget – bare den måde, du gjorde noget suget. Hvis du har data, der understøtter din hypotese, kan du prøve et par flere iterationer.

2. Bare fordi der ikke var nogen forskel generelt, kunne behandlingen have beat control i et segment eller to.

hvis du fik et løft i tilbagevendende besøgende og mobile besøgende, men et fald for nye besøgende og desktop – brugere-disse segmenter kan annullere hinanden, og det ser ud til, at det er et tilfælde af “ingen forskel”. Analyser din test på tværs af nøglesegmenter for at se dette.

se på testresultaterne i det mindste på tværs af disse segmenter (sørg for, at hvert segment har tilstrækkelig stikprøvestørrelse):

• Desktop vs Tablet/Mobile
• ny vs tilbagevendende
• trafik, der lander direkte på den side, du tester vs, kom via internt link

hvis din behandling fungerede godt for et bestemt segment, er det tid til at overveje en personlig tilgang til det pågældende segment.

der er ingen forskel, men du kan lide B bedre end A

vi er mennesker, og vi har personlige præferencer. Så hvis din test siger, at der ikke er nogen signifikant forskel mellem variationer, men du kan lide B bedre – er der virkelig ingen grund til ikke at gå med B.

hvis B er en forbedring af brugervenlighed eller repræsenterer dit brandimage bedre, skal du gå efter det. Men det er ikke gode grunde til at gå med B, hvis B klarer sig dårligere i en test.

konklusion

stol ikke på en enkelt datakilde, og gå dybere med din analyse end bare at se på de samlede resultater. Du finder flere gevinster og har bedre data til at træffe beslutninger. Integration af dit testværktøj med Google Analytics er en glimrende måde at gøre det på.

(dette indlæg blev væsentligt opdateret September 2017)