Jak analyzovat výsledky testů A / B pomocí Google Analytics

Jak analyzovat výsledky testů A / B pomocí Google Analytics

a / B testovací nástroje, jako je Optimizely nebo VWO, usnadňují testování a to je o tom. Jsou to nástroje pro spouštění testů a nejsou přesně navrženy pro analýzu po testu. Většina testovacích nástrojů se v průběhu let zlepšila, ale stále chybí to, co můžete dělat s Google Analytics – což je jako všechno.

když spustíte test, dokud nedosáhnete platnosti (není to stejné jako význam), musíte provést analýzu po testu, abyste se rozhodli o cestě vpřed.

pohled na souhrnnou obrazovku, jako je tato, nestačí:

použijte tyto pohledy at-a-glace pro rychlou kontrolu, abyste zjistili, jaký je celkový stav. Ale musíte jít dál, jakmile je test „vařený“.

váš test může opravdu skončit pouze 3 různými způsoby:

1. kontrolní výhry
2. žádný rozdíl
3. léčba (s) výhra (s)

i když nám náš testovací nástroj říká, že to je konečný výsledek, tím naše práce nekončí. Musíte provést analýzu po testu. A ve většině případů to musíte udělat mimo testovací nástroj. Jistě-Optimizely vám umožní vidět výsledky napříč předdefinovanými segmenty, ale ani to nestačí.

musíte integrovat každý test s Google Analytics

jak VWO, tak Optimizely přicházejí s vestavěnými integracemi Google Analytics a data pro každý test by měla být odeslána do Google Analytics. Není to jen pro zlepšení vašich analytických schopností, ale také pro větší jistotu v datech. Váš testovací nástroj může zaznamenávat data nesprávně, a pokud nemáte žádný jiný zdroj pro vaše testovací data, nikdy si nemůžete být jisti, zda mu důvěřujete nebo ne. Vytvořte více zdrojů dat.

Optimizely Classic

v Optimizely Classic nastavení integrace je v Nastavení projektu:

určitě chcete použít univerzální analytiku místo klasické Google Analytics. Pokud jste ještě nepřepnuli ga tracker, udělejte to co nejdříve.

nejen, že budete moci využít nových funkcí GA, můžete mít až 20 souběžných testů A / B, které odesílají data do Google Analytics. S klasikou je to jen 5.

a jakmile je to provedeno na globální úrovni, musíte pro každý test vybrat slot:

ujistěte se, že v GA není více testů, které používají stejnou vlastní dimenzi (nebo vlastní proměnnou pro klasický) slot – přepíšou si navzájem data a už jim nemůžete věřit. Jeden test na štěrbina.

příručka Optimizely obsahuje podrobné pokyny pro tuto integraci, včetně toho, jak nastavit vlastní rozměry.

Optimizely X

v Optimizely X musíte jít do Nastavení a přejít na integrace, kde najdete Google Universal Analytics, zapněte jej.

jakmile aktivujete integraci na úrovni projektu, musíte ji také aktivovat pro každý experiment výběrem slotu (vlastní dimenze).

stejně jako u Optimizely Classic byste nikdy neměli vybírat stejný slot pro dva testy běžící současně.

podrobné informace o tom, jak spustit integraci, včetně vytváření vlastních dimenzí v Google Analytics, se podívejte na průvodce na jejich webových stránkách.

VWO

pokud jde o integraci Google Analytics s experimenty VWO, vše, co musíte udělat, je vybrat správný vlastní rozměr na kartě ostatní nastavení experimentu. To musí být provedeno s každým experimentem.

stejně jako u Optimizely, jeden aktivní experiment na vlastní dimenzi. V opačném případě riskujete přepsání některých testovacích dat uložených v Google Analytics.

více informací o integraci naleznete v článku znalostní báze VWO.

přístup k experimentálním datům v Google Analytics

po dokončení se můžete podívat na jakýkoli výsledek testu v Google Analytics pomocí vlastních sestav. Můžete vytvořit přehled, který vám ukáže všechna data, která chcete:

některé varianty mají vyšší příjmy na uživatele? Proč je to – podívejme se na průměrnou hodnotu košíku nebo průměrné množství-tyto metriky zde mohou osvětlit.

použijte jakékoli metriky, které jsou užitečné ve vašem konkrétním případě. Přejeďte vlastní sestavou použitou v příkladu zde.

Všimněte si, že Služba Google Analytics vám neřekne nic o statistické významnosti (hodnoty p), úrovních výkonu, okrajích chyb a tak dále. Budete muset vytáhnout tato data do tabulky Excel / Google nebo do něčeho, kde to automaticky vypočítáte. Nespouštějte analýzu v GA před vařením dat. Ujistěte se, že potřebná velikost vzorku a význam + úrovně výkonu jsou tam.

odeslat variace jako události pro použití pokročilých segmentů (publika)

vestavěná integrace Google Analytics není spolehlivá. Někdy se data nepředávají, je zde rozpor 20% až 50 – – někde se část dat nějak ztratí. Mohlo by to mít mnoho důvodů, cokoli od toho, jak jsou skripty načteny, v jakém pořadí skriptovat časové limity a další problémy. V průběhu let jsem řešil spoustu různých problémů.

můj dobrý přítel Ton Wesseling mi poprvé řekl o tomto řešení: odeslat událost do Google Analytics při každém načtení variace.

vše, co musíte udělat, je přidat jeden řádek do testovacího globálního JavaScriptu (provedeného pro všechny varianty) plus řádek kódu sledování událostí jako poslední řádek pro každou testovací variantu.

Toto je řádek, který byste měli přidat do konzoly Javascript Global Experiment:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


tím je zajištěno, že ga tracker dostane všechny informace, jakmile se načte.

zde je místo, kde to děláte Optimizely. Nejprve otevřete Nastavení při úpravách testu:

a nyní zvolte Experiment Javascript. Přidejte tam kód:

a nyní musíte na konci každé varianty přidat řádek kódu sledování událostí(včetně originálu). Stačí změnit ID experimentu a název varianty:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


takže to, co kód dělá, je poslat událost do GA, kde je kategorie událostí Optimizely, akce je Experiment ID (můžete získat, že z vaší adresy URL při editaci testu) a štítek je Variation1 (může být také originální, variace 2 atd.). Neinterakce znamená, že není zaznamenána žádná angažovanost. Jinak by vaše míra okamžitého opuštění stránek experimentu byla 0%.

zde je místo, kde můžete přidat kód v Optimizely:

nyní můžete v Google Analytics vytvářet segmenty pro každou z variant.

nastavení segmentu:

vytvořte samostatné segmenty pro každou variantu a aplikujte je na libovolnou sestavu, kterou chcete. Takže jste mohli vidět něco takového:

pouze ilustrativní údaje.

totéž lze samozřejmě provést s vlastními rozměry. Jen se ujistěte, že konzistence dat je tam-porovnat děkuji návštěvy stránek, čísla příjmů atd Mezi Optimizely výsledek panelu a ga vlastní rozměr nebo událost na základě zprávy“.

žádný rozdíl mezi zkušebními odchylkami. Co teď?

řekněme, že celkový výsledek je „žádný významný rozdíl“ mezi variacemi. Přejít na něco jiného? Ne tak rychle. Mějte na paměti tyto 2 věci:

1. Vaše testovací hypotéza mohla být správná, ale implementace byla nasávána

Řekněme, že váš kvalitativní výzkum říká, že obavy o bezpečnost jsou problémem. Kolik způsobů Musíme posílit vnímání bezpečnosti? Omezený.

možná jste na něčem – přesně tak, jak jste něco udělali. Pokud máte data, která podporují vaši hypotézu, zkuste několik dalších iterací.

2. Jen proto, že nebyl žádný rozdíl celkově, léčba mohla porazit kontrolu v segmentu nebo dvou.

pokud máte výtah při vracení návštěvníků a mobilních návštěvníků, ale pokles pro nové návštěvníky a uživatele stolních počítačů-tyto segmenty se mohou navzájem zrušit a zdá se, že je to případ „žádný rozdíl“. Analyzujte svůj test napříč klíčovými segmenty, abyste to viděli.

podívejte se na výsledky testů alespoň napříč těmito segmenty (ujistěte se, že každý segment má odpovídající velikost vzorku):

• Desktop vs Tablet / Mobile
• nové vs vracející se
• provoz, který přistane přímo na stránce, kterou testujete vs, přišel prostřednictvím interního odkazu

pokud vaše léčba fungovala dobře pro konkrétní segment, je čas zvážit individuální přístup pro tento konkrétní segment.

není žádný rozdíl, ale máte rádi B lépe než a

jsme lidské bytosti a máme osobní preference. Takže pokud váš test říká, že neexistuje žádný významný rozdíl mezi variacemi, ale máte rádi B lépe-není opravdu žádný důvod, proč nejít s B.

pokud je B zlepšením použitelnosti nebo lépe reprezentuje image vaší značky, jděte na to. Ale to nejsou dobré důvody jít s B, pokud B provádí horší v testu.

závěr

nespoléhejte se na jediný zdroj dat a jděte hlouběji s analýzou, než jen při pohledu na celkové výsledky. Najdete více výher a máte lepší data pro rozhodování. Integrace testovacího nástroje s Google Analytics je vynikající způsob, jak toho dosáhnout.

(tento příspěvek byl výrazně aktualizován v září 2017)