Cum să analizați rezultatele testului A / B cu Google Analytics

Cum să analizați rezultatele testului A / B cu Google Analytics

instrumentele de testare A/B precum Optimizely sau VWO facilitează testarea și cam atât. Acestea sunt instrumente pentru a rula teste, și nu exact concepute pentru analiza post-test. Majoritatea instrumentelor de testare s – au îmbunătățit de-a lungul anilor, dar încă le lipsește ceea ce puteți face cu Google Analytics-ceea ce este ca orice.

când executați un test până când ați atins validitatea (nu același lucru cu semnificația), trebuie să faceți analiza post-test pentru a decide calea de urmat.

privirea unui ecran rezumat ca acesta nu este suficientă:

utilizați aceste vizualizări at-a-glace pentru o verificare rapidă pentru a vedea care este starea generală. Dar trebuie să mergeți dincolo de momentul în care testul este „gătit”.

testul dvs. se poate termina într-adevăr doar în 3 moduri diferite:

1. controlul câștigă
2. nici o diferență
3. tratament(E) victorie(e)

chiar și atunci când instrumentul nostru de testare ne spune că acesta este rezultatul final, nu acolo se termină treaba noastră. Trebuie să efectuați analize post-test. Și, în cele mai multe cazuri, trebuie să faceți acest lucru în afara instrumentului de testare. Sigur-Optimizely vă permite să vedeți rezultatele pe segmente predefinite, dar nici asta nu este suficient.

trebuie să integrați fiecare test cu Google Analytics

atât VWO, cât și Optimizely vin cu integrări Google Analytics încorporate, iar datele pentru fiecare test trebuie trimise la Google Analytics. Nu este doar pentru a vă îmbunătăți capacitățile de analiză, ci și pentru a fi mai încrezători în date. Este posibil ca instrumentul dvs. de testare să înregistreze datele incorect și, dacă nu aveți altă sursă pentru datele de testare, nu puteți fi niciodată sigur dacă aveți încredere sau nu. Creați mai multe surse de date.

Optimizely Classic

în Optimizely Classic configurarea integrarea este în setările de proiect:

cu siguranță doriți să utilizați Google Analytics Universal în loc de Google Analytics clasic. Dacă nu v-ați schimbat încă tracker-ul GA, faceți-l cât mai curând posibil.

nu numai că veți putea profita de noile funcții GA, dar puteți avea până la 20 de teste A/B concurente care trimit date către Google Analytics. Cu clasic este doar 5.

și odată ce acest lucru se face la nivel global, trebuie să alegeți un slot pentru fiecare test:

asigurați – vă că nu există mai multe teste care utilizează același slot de dimensiune personalizată (sau variabilă personalizată pentru clasic) în GA-acestea vor suprascrie datele celorlalți și nu mai puteți avea încredere în el. Un test pe slot.

manualul Optimizely are o instrucțiune pas cu pas și pentru această integrare, inclusiv modul de configurare a dimensiunilor personalizate.

Optimizely X

în Optimizely X trebuie să accesați Setări și să navigați la integrări, acolo puteți găsi Google Universal Analytics, porniți-l.

odată ce ați activat integrarea la nivel de proiect, trebuie să o activați și pentru fiecare experiment, alegând slotul (dimensiunea personalizată).

la fel ca în cazul Optimizely Classic, nu ar trebui să alegeți niciodată același slot pentru două teste care rulează în același timp.

pentru informații detaliate despre modul de funcționare a integrării, inclusiv crearea parametrilor personalizați în Google Analytics, consultați ghidul de pe site-ul lor web.

VWO

când vine vorba de integrarea Google Analytics cu experimentele dvs. Acest lucru trebuie făcut cu fiecare experiment.

ca și în cazul Optimizely, un experiment activ pe dimensiune personalizată. În caz contrar, riscați să suprascrieți unele dintre datele de testare stocate în Google Analytics.

mai multe informații despre integrare sunt disponibile într-un articol din Baza de cunoștințe a VWO.

accesarea datelor experimentului în Google Analytics

după ce ați terminat, puteți consulta orice rezultat al testului din Google Analytics utilizând rapoarte personalizate. Puteți face raportul să vă arate orice date doriți:

unele variații au mai multe venituri pe utilizator? De ce – ei bine, să ne uităm la valoarea medie a coșului sau la cantitatea medie – aceste valori pot arunca o lumină aici.

utilizați orice valori care sunt utile în cazul dvs. particular. Glisați raportul personalizat utilizat în exemplul de aici.

rețineți că Google Analytics nu vă va spune nimic despre semnificația statistică (valorile p), nivelurile de putere, marjele de eroare și așa mai departe. Ar trebui să trageți aceste date într-o foaie de calcul Excel / Google sau ceva în care calculați automat acest lucru. Nu începeți analiza în GA înainte ca datele să fie gătite. Asigurați-vă că dimensiunea eșantionului necesar și semnificația + nivelurile de putere sunt acolo.

trimiteți variații ca evenimente pentru a utiliza segmente avansate (audiențe)

Integrarea Google Analytics încorporată nu este infailibilă. Uneori datele nu sunt transmise, există o discrepanță de 20% până la 50% – undeva cumva o parte din date se pierde. Ar putea exista numeroase motive pentru asta, orice, de la modul în care scripturile sunt încărcate, în care, pentru a timeout script și alte probleme. M-am confruntat cu o mulțime de probleme diferite de-a lungul anilor.

bunul meu prieten Ton Wesseling mi-a spus mai întâi despre această soluție: trimiteți un eveniment la Google Analytics de fiecare dată când este încărcată o variantă.

tot ce trebuie să faceți este să adăugați o linie la testul global Javascript (executat pentru toate variantele), plus o linie de cod de urmărire eveniment ca ultima linie pentru fiecare variație de testare.

deci, aceasta este linia pe care ar trebui să o adăugați în consola Javascript Global Experiment:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


acest lucru face sigur că ga tracker devine toate informațiile odată ce se încarcă.

Iată unde o faci în Optimizely. Mai întâi deschideți setările în timp ce editați un test:

și acum alegeți Experiment Javascript. Adăugați codul acolo:

și acum trebuie să adăugați o linie de cod de urmărire a evenimentelor la sfârșitul fiecărei variante (inclusiv originalul). Trebuie doar să schimbați numărul de identificare al experimentului și numele variației:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


deci, ceea ce codul nu este trimite un eveniment la GA în cazul în care categoria de evenimente este Optimizely, acțiunea este Id Experiment (puteți obține că de la URL-ul în timp ce editarea unui test) și eticheta este Variation1 (poate fi, de asemenea, Original, variație 2 etc). Non-interacțiunea înseamnă că nu se înregistrează niciun angajament. În caz contrar, rata de respingere pentru paginile experimentului ar fi de 0%.

Iată unde adăugați codul în Optimizely:

acum Puteți crea segmente în Google Analytics pentru fiecare dintre variante.

Configurarea segmentului:

creați segmente separate pentru fiecare variație și aplicați-le pe orice raport dorit. Deci, ai putea vedea ceva de genul asta:

numai date ilustrative.

același lucru se poate face desigur cu dimensiuni personalizate. Doar asigurați-vă că există o consistență a datelor-comparați vizitele de pagină, numerele de venituri etc. între panoul de rezultate Optimizely și dimensiunea personalizată ga sau raportul bazat pe evenimente”.

nici o diferență între variațiile de testare. Acum ce?

să spunem că rezultatul general nu este o diferență semnificativă între variații. Să trecem la altceva? Nu așa de repede. Țineți minte aceste 2 lucruri:

1. Ipoteza dvs. de testare ar fi putut fi corectă, dar implementarea a supt

să presupunem că cercetarea Dvs. calitativă spune că îngrijorarea cu privire la securitate este o problemă. Câte moduri trebuie să întărim percepția securității? Nelimitat.

s – ar putea fi pe la ceva-doar modul în care ai făcut ceva supt. Dacă aveți date care vă susțin ipoteza, încercați încă câteva iterații.

2. Doar pentru că nu a existat nicio diferență generală, tratamentul ar putea avea controlul într-un segment sau două.

dacă aveți o creștere a vizitatorilor care se întorc și a vizitatorilor mobili, dar o scădere pentru vizitatorii noi și utilizatorii de desktop – aceste segmente s-ar putea anula reciproc și se pare că este un caz de „nicio diferență”. Analizați testul pe segmente cheie pentru a vedea acest lucru.

analizați rezultatele testului cel puțin pe aceste segmente (asigurați-vă că fiecare segment are o dimensiune adecvată a eșantionului):

• Desktop vs tabletă/mobil
• nou vs întoarcere
• trafic care aterizează direct pe pagina pe care o testați vs a venit prin link intern

dacă tratamentul dvs. a funcționat bine pentru un anumit segment, este timpul să luați în considerare o abordare personalizată pentru acel segment particular.

nu e nicio diferență, dar îți place B mai mult decât a

suntem ființe umane și avem preferințe personale. Deci, dacă testul dvs. spune că nu există nicio diferență semnificativă între variații, dar vă place mai mult B – nu există niciun motiv pentru a nu merge cu B.

dacă B este o îmbunătățire a utilizabilității sau reprezintă mai bine imaginea mărcii dvs., mergeți la ea. Dar acestea nu sunt motive bune pentru a merge cu B dacă B se comportă mai rău într-un test.

concluzie

nu vă bazați pe o singură sursă de date și mergeți mai adânc cu analiza dvs. decât să vă uitați la rezultatele generale. Veți găsi mai multe victorii și veți avea date mai bune pentru a lua decizii. Integrarea instrumentului dvs. de testare cu Google Analytics este o modalitate excelentă de a face acest lucru.

(acest post a fost actualizat în mod semnificativ septembrie 2017)