A / B-testitulosten analysointi Google Analyticsin

A / B-testitulosten analysointi Google Analyticsin

A / B-testaustyökaluilla, kuten Optimizely tai VWO, tekee testaamisesta helppoa, ja siinä kaikki. Ne ovat työkaluja testien suorittamiseen, eikä niitä ole suunniteltu jälkianalyysiin. Useimmat testaustyökalut ovat parantuneet vuosien varrella, mutta niistä puuttuu vielä se, mitä Google Analyticsilla voi tehdä – mikä on kuin kaikki muukin.

kun suoritat testin, kunnes olet saavuttanut pätevyyden (ei sama kuin merkitys), Sinun on tehtävä testin jälkeinen analyysi, jotta voit päättää etenemistavasta.

yhteenvetonäytön katsominen näin ei riitä:

käytä näitä at-a-glace-näkymiä tarkistaaksesi nopeasti, mikä on kokonaistilanne. Mutta sinun täytyy mennä pidemmälle, kun testi on ”keitetty”.

testisi voi oikeasti päättyä vain 3 eri tavalla:

1. Kontrollivoitot
2. ei eroa
3. hoito(s) voitto (s)

vaikka testityökalumme kertoo, että se on lopputulos, työmme ei pääty siihen. Sinun täytyy tehdä testin jälkeinen analyysi. Ja useimmissa tapauksissa sinun täytyy tehdä, että ulkopuolella testaus työkalu. Sure-Optimizely avulla voit nähdä tulokset yli ennalta määriteltyjen segmenttien, mutta se ei riitä myöskään.

jokainen testi on integroitava Google Analyticsiin

sekä VWO-että Optimizely-järjestelmissä on sisäänrakennettu Google Analytics-integraatio, ja jokaisen testin tiedot tulee lähettää Google Analyticsille. Se ei ole vain parantaa analyysiominaisuudet, mutta myös olla luottavaisempi tietoja. Testaustyökalusi saattaa tallentaa tiedot väärin, ja jos sinulla ei ole muuta lähdettä testitietoillesi, et voi koskaan olla varma, luotatko siihen vai et. Luo useita tietolähteitä.

Optimizely Classic

Optimizely Classicissa integrointi on projektin asetuksissa:

haluat ehdottomasti käyttää Universal Analyticsia perinteisen Google Analyticsin sijaan. Jos et ole vielä vaihtanut GA tracker yli, tee se niin pian kuin voit.

uusien GA-ominaisuuksien hyödyntämisen lisäksi Google Analyticsille voi lähettää jopa 20 samanaikaista A/B-testiä. Classicin kanssa se on vasta 5.

ja kun tämä on tehty globaalilla tasolla, pitää valita paikka jokaiselle testille:

varmista, että ei ole useita testejä, jotka käyttävät samaa Custom Dimension (tai Custom muuttuja Classic) paikka GA – ne korvaavat toistensa tiedot, ja et voi luottaa siihen enää. Yksi testi per paikka.

Optimizelyn käsikirjassa on vaiheittainen ohje tähänkin integraatioon, mukaan lukien omien mittojen määrittäminen.

Optimizely X

Optimizely X: ssä on mentävä asetuksiin ja navigoitava integraatioihin, sieltä löytyy Google Universal Analytics, käynnistä se.

kun olet aktivoinut integraation Projektitasolla, sinun on myös aktivoitava se jokaista kokeilua varten valitsemalla korttipaikka (Custom Dimension).

aivan kuten Optimizely Classicissa, sinun ei koskaan pitäisi valita samaa kolikkopeliä kahteen samaan aikaan ajettavaan testiin.

yksityiskohtaista tietoa siitä, miten integrointi saadaan käyntiin, mukaan lukien Google Analyticsin mukautettujen mittojen luominen, on heidän verkkosivuillaan olevassa oppaassa.

VWO

kun on kyse Google Analyticsin integroimisesta VWO-kokeisiin, sinun tarvitsee vain valita oikea mukautettu ulottuvuus Kokeiluasetusten muut-välilehdestä. Tämä on tehtävä jokaisessa kokeessa.

kuten Optimizely, yksi aktiivinen kokeilu per mukautettu ulottuvuus. Muutoin vaarana on korvata osa Google Analyticsiin tallennetuista testitiedoista.

lisää tietoa kotouttamisesta löytyy VWO: n tietopohjan artikkelista.

hakeminen Google Analyticsin kokeilutietoihin

kun olet valmis, voit tarkastella Google Analyticsin testituloksia mukautettujen raporttien avulla. Voit saada raportin näyttämään haluamasi tiedot:

joillakin muunnelmilla on enemmän tuloja käyttäjää kohden? Miksi – no katsotaanpa keskimääräinen ostoskorin arvo tai keskimääräinen määrä – nämä mittarit voi valaista täällä.

Käytä mitä tahansa mittareita, jotka ovat hyödyllisiä juuri sinun tapauksessasi. Pyyhkäise esimerkissä käytetty mukautettu raportti tästä.

huomaa, että Google Analytics ei kerro mitään tilastollisesta merkitsevyydestä (p-arvot), tehotasoista, virhemarginaaleista ja niin edelleen. Sinun täytyy vetää, että tiedot Excel / Google laskentataulukko tai jotain, jossa voit automaattisesti laskea, että. Älä aloita analyysiä GA: ssa ennen kuin tiedot on keitetty. Varmista, että tarvittava otoskoko ja merkitys + tehotasot ovat olemassa.

lähetä variaatioita tapahtumina käyttääksesi edistyneitä segmenttejä (yleisöjä)

sisäänrakennettu Google Analytics-integraatio ei ole idioottivarma. Joskus tietoja ei siirretä eteenpäin, on 20-50% poikkeama – jossain jotenkin osa tiedoista katoaa. Siihen voi olla lukuisia syitä, mitä tahansa siitä, miten skriptit Ladataan, missä järjestyksessä skriptit aikakatkaisut ja muut asiat. Olen käsitellyt monia erilaisia ongelmia vuosien varrella.

hyvä ystäväni Ton Wesseling kertoi minulle ensin tästä kiertokulusta: lähetä tapahtuma Google Analyticsiin aina, kun muunnelma Ladataan.

kaikki mitä sinun tarvitsee tehdä on lisätä yksi rivi test Global Javascript (suoritetaan kaikille muunnelmille), sekä rivi tapahtumaseurantakoodi viimeisenä rivinä jokaiselle testimuunnelmalle.

joten tämä on rivi, joka sinun tulisi lisätä Global Experiment Javascript-konsoliin:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


tämä varmistaa, että GA tracker saa kaikki tiedot, Kun se lataa.

tässä tehdään se Optimizelyssä. Avaa ensin Asetukset muokatessasi testiä:

ja nyt valitse Experiment Javascript. Lisää koodi sinne:

Ja nyt sinun täytyy lisätä rivi tapahtumaseurantakoodi lopussa jokaisen muunnelman (mukaan lukien alkuperäinen). Sinun täytyy vain muuttaa kokeen ID-numero ja nimi muunnelma:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


joten mitä koodi tekee on lähettää tapahtuman GA jossa tapahtuma luokka on Optimizely, toiminta on kokeilu ID (voit saada, että URL muokatessasi testi) ja etiketti on Variation1 (voi olla myös alkuperäinen, muunnelma 2 jne). Ei-vuorovaikutus tarkoittaa sitä, että sitoutumista ei kirjata. Muuten bounce korko kokeilusivuja olisi 0%.

tähän lisätään koodi Optimizelyssä:

Nyt voit luoda segmenttejä Google Analytics jokaiselle muunnelmia.

Segmenttiasennus:

luo erilliset segmentit jokaiselle muunnelmalle ja käytä niitä mihin tahansa raporttiin, jonka haluat. Joten voit nähdä jotain tällaista:

ainoastaan havainnollistavat tiedot.

saman asian voi tietysti tehdä mukautetuilla mitoilla. Varmista vain, että tietojen johdonmukaisuus on olemassa-vertaa kiitos sivun käyntejä, tulot numerot jne välillä Optimizely tulospaneeli ja GA custom dimension tai tapahtumapohjainen raportti”.

testivaihtelujen välillä ei ole eroa. Mitä nyt?

sanotaan, että kokonaistulos on ”ei merkittävää eroa” variaatioiden välillä. Siirtyä johonkin muuhun? Ei niin nopeasti. Pidä nämä 2 asiaa mielessä:

1. Testihypoteesi saattoi olla oikea, mutta toteutus imaisi

sanotaan, että laadullisen tutkimuksesi mukaan huoli turvallisuudesta on ongelma. Kuinka monella tavalla meidän on parannettava käsitystä turvallisuudesta? Rajoittamaton.

saatat olla jonkin jäljillä-juuri se, miten teit jotain syvältä. Jos sinulla on dataa, joka tukee hypoteesiasi, kokeile vielä muutamia iteraatioita.

2. Vain koska ei ollut eroa yleistä, hoito olisi ehkä voittaa control segmentti tai kaksi.

jos palaavissa kävijöissä ja mobiilikävijöissä olisi nostetta, mutta uusille kävijöille ja työpöytäkäyttäjille pudotus – nämä segmentit saattavat kumota toisensa, ja näyttää siltä, että kyseessä on ”ei eroa”. Analysoi testi eri keskeisten segmenttien nähdä tämän.

tarkastellaan testituloksia ainakin näillä segmenteillä (varmista, että jokaisella segmentillä on riittävä otoskoko):

• Desktop vs Tablet/Mobile
• New vs Returning
• Traffic that lands directly on the page you ’re testing vs came via internal link

If your treatment performed well for a specific segment, it’ s time to consider a personal approach for that specific segment.

eroa ei ole, mutta pidät B: stä paremmin kuin a

olemme ihmisiä, ja meillä on omat mieltymyksemme. Jos siis testisi mukaan variaatioiden välillä ei ole merkittävää eroa, mutta pidät B: stä enemmän – ei ole mitään syytä olla menemättä B: n mukaan.

jos B parantaa käytettävyyttä tai edustaa brändisi imagoa paremmin, anna mennä. Ne eivät kuitenkaan ole hyviä syitä lähteä B: n mukaan, jos B suoriutuu testissä huonommin.

johtopäätös

älä luota yhteen tietolähteeseen, vaan mene analyysisi kanssa syvemmälle kuin vain kokonaistulosten tarkasteluun. Löydät enemmän voittoja ja sinulla on paremmat tiedot tehdä päätöksiä. Testausvälineen integrointi Google Analyticsiin on erinomainen tapa tehdä se.

(tätä viestiä päivitettiin merkittävästi syyskuussa 2017)