Jak analizować wyniki testów A / B za pomocą Google Analytics

Jak analizować wyniki testów A / B za pomocą Google Analytics

narzędzia do testowania A / B, takie jak Optimizely lub VWO, ułatwiają Testowanie i to wszystko. Są narzędziami do przeprowadzania testów i nie są przeznaczone do analizy po testach. Większość narzędzi testowych zyskała na tym na przestrzeni lat, ale nadal brakuje tego, co można zrobić z Google Analytics – co jest jak wszystko.

kiedy uruchamiasz test, dopóki nie osiągniesz ważności (nie tego samego, co Znaczenie), musisz wykonać analizę po teście, aby zdecydować o dalszej drodze.

patrzenie na taki ekran podsumowania to za mało:

użyj tych widoków at-a-glace, aby szybko sprawdzić, jaki jest ogólny status. Ale musisz wyjść poza to, gdy test zostanie „ugotowany”.

twój test może się naprawdę skończyć tylko na 3 różne sposoby:

1. sterowanie wygrywa
2. brak różnicy
3. leczenie wygrywa(s))

nawet jeśli nasze narzędzie do testowania mówi nam, że to ostateczny wynik, to nie na tym kończy się nasza praca. Musisz przeprowadzić analizę po teście. W większości przypadków musisz to zrobić poza narzędziem testującym. Sure-Optimizely pozwala zobaczyć wyniki we wstępnie zdefiniowanych segmentach, ale to też nie wystarczy.

musisz zintegrować każdy test z Google Analytics

zarówno VWO, jak i Optimizely mają wbudowaną integrację z Google Analytics, a dane dla każdego testu należy przesłać do Google Analytics. Ma to na celu nie tylko zwiększenie możliwości analizy, ale także zwiększenie pewności danych. Narzędzie do testowania może nieprawidłowo rejestrować dane, a jeśli nie masz innego źródła danych testowych, nigdy nie możesz być pewien, czy mu zaufać, czy nie. Tworzenie wielu źródeł danych.

Optimizely Classic

w konfiguracji Optimizely Classic integracja znajduje się w Ustawieniach projektu:

zdecydowanie chcesz używać Universal Analytics zamiast klasycznego Google Analytics. Jeśli nie zmieniłeś jeszcze swojego trackera GA, zrób to tak szybko, jak to możliwe.

nie tylko będziesz mógł skorzystać z nowych funkcji GA, możesz mieć do 20 jednoczesnych testów A/B wysyłających dane do Google Analytics. Z Classic to tylko 5.

a kiedy to się stanie na poziomie globalnym, musisz wybrać miejsce na każdy test:

upewnij się, że nie ma wielu testów, które używają tego samego niestandardowego wymiaru (lub zmiennej niestandardowej dla klasycznych) gniazda w GA – nadpiszą one nawzajem Dane i nie możesz już im ufać. Jeden test na gniazdo.

Podręcznik Optimizely zawiera również instrukcje krok po kroku dotyczące tej integracji, w tym jak skonfigurować niestandardowe wymiary.

Optimizely X

w Optimizely X musisz przejść do ustawień i przejść do integracji, tam możesz znaleźć Google Universal Analytics, włączyć go.

po aktywowaniu integracji na poziomie projektu, musisz również aktywować ją dla każdego eksperymentu, wybierając slot (niestandardowy wymiar).

podobnie jak w przypadku Optimizely Classic, nigdy nie należy wybierać tego samego miejsca na dwa testy działające w tym samym czasie.

aby uzyskać szczegółowe informacje na temat uruchomienia integracji, w tym tworzenia niestandardowych wymiarów w Google Analytics, zapoznaj się z przewodnikiem na ich stronie internetowej.

VWO

jeśli chodzi o integrację Google Analytics z eksperymentami VWO, wszystko, co musisz zrobić, to wybrać odpowiedni wymiar niestandardowy na karcie Inne ustawień eksperymentu. Trzeba to zrobić przy każdym eksperymencie.

podobnie jak w przypadku Optimizely, jeden aktywny eksperyment na wymiar niestandardowy. W przeciwnym razie istnieje ryzyko zastąpienia niektórych danych testowych przechowywanych w Google Analytics.

więcej informacji na temat integracji można znaleźć w artykule w Bazie wiedzy VWO.

dostęp do danych eksperymentów w Google Analytics

po zakończeniu możesz sprawdzić dowolny wynik testu w Google Analytics za pomocą niestandardowych raportów. Możesz sprawić, że raport pokaże Ci dowolne dane:

jakaś odmiana ma większy dochód na użytkownika? Dlaczego-spójrzmy na średnią wartość koszyka lub średnią ilość-te wskaźniki mogą rzucić nieco światła.

używaj wszelkich metryk, które są przydatne w danym przypadku. Przesuń palcem raport niestandardowy użyty w przykładzie tutaj.

zauważ, że Google Analytics nie powie Ci nic o istotności statystycznej (wartości p), poziomach mocy, marginesach błędów i tak dalej. Musisz wyciągnąć te dane do arkusza kalkulacyjnego Excel / Google lub czegoś innego, gdzie automatycznie to obliczasz. Nie rozpoczynaj analizy w GA przed przygotowaniem danych. Upewnij się, że wymagany rozmiar próbki i znaczenie + Poziomy Mocy Są tam.

wysyłaj wariacje jako zdarzenia, aby korzystać z zaawansowanych segmentów (odbiorców)

Wbudowana integracja z Google Analytics nie jest niezawodna. Czasami dane nie są przekazywane dalej, istnieje rozbieżność 20% do 50% – gdzieś w jakiś sposób część danych zostaje utracona. Może być wiele powodów, od tego, jak skrypty są ładowane, w jakiej kolejności, po harmonogramy skryptów i inne problemy. Przez lata miałem do czynienia z wieloma różnymi problemami.

mój dobry przyjaciel Ton Wesseling najpierw powiedział mi o tym obejściu: wyślij Zdarzenie do Google Analytics za każdym razem, gdy załadowana jest odmiana.

wszystko, co musisz zrobić, to dodać jedną linię do testowego globalnego Javascript (wykonywanego dla wszystkich odmian), plus linię kodu śledzenia zdarzeń jako ostatnią linię dla każdej odmiany testowej.

więc to jest wiersz, który powinieneś dodać w globalnej konsoli Experiment Javascript:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


zapewnia to, że ga tracker pobiera wszystkie informacje po załadowaniu.

tutaj robisz to w Optimizely. Najpierw otwórz Ustawienia podczas edycji testu:

a teraz wybierz eksperyment Javascript. Dodaj tam kod:

teraz musisz dodać linię kodu śledzenia zdarzeń na końcu każdej odmiany (w tym oryginału). Wystarczy zmienić numer ID eksperymentu i nazwę wariacji:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


tak więc kod wysyła Zdarzenie do GA, gdzie Kategoria zdarzenia jest Optimizely, akcja to identyfikator eksperymentu (możesz go pobrać z adresu URL podczas edycji testu), a etykieta to wariacja 1 (może być również oryginalna, wariacja 2 itp.). Brak interakcji oznacza, że żadne zaangażowanie nie jest rejestrowane. W przeciwnym razie współczynnik odrzuceń dla stron eksperymentu wynosiłby 0%.

tutaj dodajesz kod w Optimizely:

teraz możesz tworzyć segmenty w Google Analytics dla każdej z odmian.

konfiguracja segmentu:

Utwórz oddzielne segmenty dla każdej odmiany i zastosuj je do dowolnego raportu. Więc można zobaczyć coś takiego:

tylko dane poglądowe.

to samo można oczywiście zrobić z niestandardowymi wymiarami. Po prostu upewnij się, że istnieje spójność danych – porównaj wizyty na stronie z podziękowaniami, numery przychodów itp.między panelem wyników Optimizely a niestandardowym wymiarem GA lub raportem opartym na zdarzeniach”.

brak różnic między wariantami badania. Co teraz?

powiedzmy, że ogólny wynik to „brak znaczącej różnicy” między wariacjami. Przejść do czegoś innego? Nie tak szybko. Pamiętaj o tych 2 rzeczach:

1. Twoja hipoteza testowa mogła mieć rację, ale implementacja była do bani

powiedzmy, że twoje badania jakościowe mówią, że troska o bezpieczeństwo jest problemem. Na ile sposobów mamy wzmocnić postrzeganie bezpieczeństwa? Bez ograniczeń.

możesz być na czymś-po prostu sposób, w jaki zrobiłeś coś do bani. Jeśli masz dane, które potwierdzają twoją hipotezę, spróbuj wykonać kilka kolejnych iteracji.

2. Tylko dlatego, że nie było ogólnej różnicy, leczenie mogło pokonać kontrolę w jednym lub dwóch segmencie.

jeśli masz wzrost w powracających odwiedzających i odwiedzających mobilnych, ale spadek dla nowych użytkowników i użytkowników komputerów-te segmenty mogą się wzajemnie anulować i wydaje się, że jest to przypadek „bez różnicy”. Przeanalizuj test w kluczowych segmentach, aby to zobaczyć.

spójrz na wyniki badań przynajmniej w tych segmentach (upewnij się, że każdy segment ma odpowiednią wielkość próbki):

• komputer stacjonarny vs Tablet/Telefon komórkowy
• Nowy vs powracający
• ruch, który ląduje bezpośrednio na stronie, którą testujesz, vs przyszedł przez wewnętrzny link

jeśli leczenie przebiegło dobrze dla określonego segmentu, nadszedł czas, aby rozważyć spersonalizowane podejście do tego konkretnego segmentu.

nie ma różnicy, ale bardziej lubisz B niż a

jesteśmy ludźmi i mamy osobiste preferencje. Więc jeśli twój test mówi, że nie ma znaczącej różnicy między wariacjami, ale wolisz B – naprawdę nie ma powodu, aby nie iść z B.

Jeśli B jest poprawą użyteczności lub lepiej reprezentuje wizerunek Twojej marki, śmiało. Ale to nie są dobre powody, aby iść z B, jeśli b wypada gorzej w teście.

podsumowanie

nie polegaj na jednym źródle danych i sięgaj głębiej w swojej analizie niż tylko patrząc na ogólne wyniki. Znajdziesz więcej wygranych i masz lepsze dane do podejmowania decyzji. Integracja narzędzia testowego z Google Analytics to doskonały sposób, aby to zrobić.

(ten post został znacznie zaktualizowany we wrześniu 2017)