Az A/B teszt eredményeinek elemzése a Google Analytics segítségével
az A/B tesztelő eszközök, mint például az Optimizely vagy a VWO, megkönnyítik a tesztelést, és ennyi. Ezek tesztek futtatására szolgáló eszközök, és nem éppen a teszt utáni elemzésre készültek. A legtöbb tesztelő eszköz az évek során jobb lett benne, de még mindig hiányzik az, amit a Google Analytics segítségével megtehet – ami olyan, mint minden.
ha addig futtat egy tesztet, amíg el nem éri az érvényességet (nem ugyanaz, mint a jelentőség), akkor a teszt utáni elemzést kell elvégeznie, hogy eldöntse az utat.
nem elég egy ilyen összefoglaló képernyőt nézni:
használja ezeket az at-a-glace nézeteket egy gyors ellenőrzéshez, hogy megnézze, mi az általános állapot. De túl kell lépnie, ha a teszt “szakács”.
a teszt valójában csak 3 különböző módon fejezhető be:
- kontroll győzelem
- nincs különbség
- kezelés győzelem(ek))
még akkor is, ha a tesztelő eszközünk azt mondja nekünk, hogy ez a végeredmény, a munkánk nem itt ér véget. Teszt utáni elemzést kell végeznie. A legtöbb esetben ezt a tesztelő eszközön kívül kell elvégeznie. Persze-az Optimizely lehetővé teszi az eredmények előre meghatározott szegmensekben történő megtekintését, de ez sem elég.
minden tesztet integrálni kell a Google Analytics szolgáltatással
mind a VWO, mind az Optimizely beépített Google Analytics integrációval rendelkezik, és minden teszt adatait el kell küldeni a Google Analytics-nek. Ez nem csak az elemzési képességek javítása, hanem az adatok magabiztosabbá tétele is. Lehet, hogy a tesztelőeszköz helytelenül rögzíti az adatokat, és ha nincs más forrása a tesztadatokhoz, soha nem lehet biztos abban, hogy megbízik-e benne vagy sem. Hozzon létre több adatforrást.
7 Ways that Predictive Analytics is Transforming Ecommerce
írta: Gagan Mehra
a Predictive analytics segít megérteni, hogy az ügyfelek mit fognak vásárolni, mielőtt megtennék.
Optimizely Classic
az Optimizely Classic beállításban az integráció a Projektbeállítások alatt található:
mindenképpen a Universal Analytics szolgáltatást szeretné használni a klasszikus Google Analytics helyett. Ha még nem kapcsolta át a GA trackerét, tegye meg, amint csak tudja.
nem csak akkor lesz képes kihasználni az új GA funkciók, akkor akár 20 egyidejű A/B tesztek küld adatokat a Google Analytics. A Klasszikus csak 5.
és ha ez globális szinten megtörtént, minden teszthez ki kell választania egy helyet:
győződjön meg arról, hogy nincs több teszt, amely ugyanazt az egyéni dimenziót (vagy a klasszikus egyéni változót) használja a GA – ban-felülírják egymás adatait, és már nem bízhat benne. Egy teszt résenként.
az Optimizely kézikönyve lépésről lépésre tartalmazza ezt az integrációt is, beleértve az egyéni dimenziók beállítását.
Optimizely X
az Optimizely X-ben el kell mennie a Beállítások menüpontba, és navigálnia kell az integrációk menüpontba, ott megtalálja a Google Universal Analytics szolgáltatást, bekapcsolhatja.
miután aktiválta az integrációt a projekt szintjén, minden kísérlethez aktiválnia kell azt a rés kiválasztásával (egyéni dimenzió).
csakúgy, mint az Optimizely Classic esetében, soha ne válasszon ugyanazt a nyílást két, egyszerre futó teszthez.
az integráció futtatásával kapcsolatos részletes információkért, beleértve az egyéni dimenziók létrehozását a Google Analytics szolgáltatásban, nézze meg a webhelyük útmutatóját.
VWO
amikor integrálja a Google Analytics a vwo kísérletek, mindössze annyit kell tennie, hogy válassza ki a megfelelő egyéni dimenzió a többiek fülön kísérlet Beállítások. Ezt minden kísérletnél meg kell tenni.
az Optimizely – hez hasonlóan egyéni Dimenziónként egy aktív kísérlet. Ellenkező esetben fennáll annak a veszélye, hogy felülírja a Google Analytics szolgáltatásban tárolt tesztadatok egy részét.
további információk az integrációról a vwo tudásbázisának egyik cikkében találhatók.
kísérleti adatok elérése a Google Analytics szolgáltatásban
miután elkészült, megtekintheti a Google Analytics bármely teszteredményét egyéni jelentések segítségével. Tudod, hogy a jelentés megmutatja a kívánt adatokat:
néhány variációnak több bevétele van egy felhasználóra? Miért van ez – nos, nézzük meg az átlagos kosárértéket vagy az átlagos mennyiséget – ezek a mutatók itt fényt deríthetnek.
használjon bármilyen mutatót, amely hasznos az adott esetben. Húzza el az itt szereplő példában használt egyéni jelentést.
vegye figyelembe, hogy a Google Analytics nem mond semmit a statisztikai szignifikanciáról (p-értékek), teljesítményszintekről, hibahatárokról stb. Ezeket az adatokat be kell húznia egy Excel / Google táblázatba vagy valamibe, ahol ezt automatikusan kiszámítja. Ne indítsa el az elemzést GA-ban, mielőtt az adatok szakácsba kerülnek. Győződjön meg arról, hogy a szükséges minta mérete és jelentősége + teljesítményszintek vannak.
változatok küldése eseményként haladó szegmensek (közönségek) használatához
a beépített Google Analytics integráció nem üzembiztos. Néha az adatokat nem adják tovább, 20-50% – os eltérés van – valahol az adatok egy része elveszik. Ennek számos oka lehet, bármi, a szkriptek betöltésének módjától kezdve, milyen sorrendben a szkriptek időtúllépéséig és egyéb problémákig. Sok különböző problémával küzdöttem az évek során.
jó barátom, Ton Wesseling először mesélt nekem erről a megoldásról: küldjön egy eseményt a Google Analytics-nek minden alkalommal, amikor egy variáció betöltődik.
mindössze annyit kell tennie, hogy hozzá egy sort a teszt globális Javascript (végre minden variáció), valamint egy sor eseménykövető kódot, mint az utolsó sorban minden teszt variáció.
tehát ezt a sort kell hozzáadnia a Global Experiment Javascript konzolhoz:
window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();
ez biztosítja, hogy a GA tracker megkapja az összes információt, ha betöltődik.
itt van, ahol csinálni Optimizely. Először nyissa meg a beállításokat a teszt szerkesztése közben:
Most válassza a Javascript kísérletet. Adja hozzá a kódot:
most pedig hozzá kell adnia egy sor eseménykövető kódot az egyes variációk végén (beleértve az eredetit is). Csak meg kell változtatnia a kísérlet azonosító számát és a variáció nevét:
window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});
tehát a kód egy eseményt küld a GA-nak, ahol az eseménykategória Optimizely, a művelet Kísérletazonosító (ezt az URL-ről szerezheti be egy teszt szerkesztése közben), a címke pedig Variáció1 (eredeti is lehet, 2.variáció stb.). A nem interakció azt jelenti, hogy nem rögzítenek elkötelezettséget. Ellenkező esetben a kísérleti oldalak visszafordulási aránya 0% lenne.
itt adja hozzá a kódot az Optimizely-ben:
most már létrehozhat szegmenseket a Google Analytics szolgáltatásban az egyes változatokhoz.
Szegmensbeállítás:
hozzon létre külön szegmenseket az egyes változatokhoz, és alkalmazza őket a kívánt jelentésekre. Így lehet látni valamit, mint ez:
csak szemléltető adatok.
ugyanez természetesen elvégezhető az egyedi méretekkel is. Csak győződjön meg róla, hogy az adatok konzisztenciája van-hasonlítsa össze a köszönöm oldallátogatásokat, a bevételi számokat stb. az Optimizely eredménypanel és a ga egyéni dimenziója vagy eseményalapú jelentése között”.
nincs különbség a tesztváltozatok között. És most?
tegyük fel, hogy az általános eredmény ‘nincs szignifikáns különbség’ a variációk között. Továbblépni valami másra? Ne olyan gyorsan. Tartsa szem előtt ezt a 2 dolgot:
1. Lehet, hogy a teszt hipotézise helyes volt, de a megvalósítás szar volt
tegyük fel, hogy kvalitatív kutatása szerint a biztonsággal kapcsolatos aggodalom kérdés. Hány módon kell javítanunk a biztonság megítélését? Korlátlan.
lehet, hogy valamit csinálsz – csak úgy, ahogy valamit szoptál. Ha vannak olyan adatai, amelyek alátámasztják a hipotézist, próbáljon meg még néhány iterációt.
2. Csak azért, mert összességében nem volt különbség, a kezelés egy-két szegmensben legyőzhette a kontrollt.
ha a visszatérő látogatók és a mobil látogatók száma emelkedik, de az új látogatók és az asztali felhasználók száma csökken – ezek a szegmensek kiolthatják egymást, és úgy tűnik, hogy “nincs különbség”. Elemezze a tesztet a kulcsfontosságú szegmensek között, hogy ezt lássa.
nézze meg a vizsgálati eredményeket legalább ezeken a szegmenseken (győződjön meg arról, hogy minden szegmens megfelelő mintamérettel rendelkezik):
- asztali vs Tablet/Mobil
- új vs visszatérő
- a forgalom, amely közvetlenül a vizsgált oldalra érkezik, belső linken keresztül érkezett
ha a kezelés jól teljesített egy adott szegmensben, itt az ideje, hogy fontolja meg az adott szegmens személyre szabott megközelítését.
nincs különbség, de jobban szereted a B-t, mint a
emberi lények vagyunk, és személyes preferenciáink vannak. Tehát, ha a teszt azt mondja, hogy nincs szignifikáns különbség a variációk között, de jobban szereted B – t-valójában nincs ok arra, hogy ne menj B-vel.
ha a B a használhatóság javítása, vagy jobban képviseli a márka imázsát, hajrá. De ezek nem jó okok arra, hogy B-vel járjunk, ha B rosszabbul teljesít egy tesztben.
következtetés
ne támaszkodjon egyetlen adatforrásra, és mélyebben elemezze az elemzést, mint az általános eredményeket. Több nyereményt talál, és jobb adatokkal rendelkezik a döntések meghozatalához. A tesztelő eszköz integrálása a Google Analytics szolgáltatással kiváló módszer erre.
(ezt a bejegyzést jelentősen frissítették szeptemberben 2017)
csatlakozzon több mint 95 000 elemzőhöz, optimalizálóhoz, digitális marketingszakemberhez és UX gyakorlóhoz a listánkon
e-mailek hetente egyszer vagy kétszer a növekedésről és az optimalizálásról.