Como analisar seus resultados de teste A / B com o Google Analytics

Como analisar seus resultados de teste A / B com o Google Analytics

ferramentas de teste A/B como Optimizely ou VWO facilitam o teste, e é sobre isso. São ferramentas para executar testes e não exatamente projetadas para análise pós-teste. A maioria das ferramentas de teste melhorou ao longo dos anos, mas ainda falta o que você pode fazer com o Google Analytics – que é como tudo.

quando você executa um teste até atingir a validade (não o mesmo que significância), você precisa fazer uma análise pós-teste para decidir o caminho a seguir.

olhar para uma tela de resumo como esta não é suficiente:

Use essas visualizações at-a-glace para uma verificação rápida para ver qual é o status geral. Mas você precisa ir além quando o teste for “cozido”.

O teste só pode realmente acabar em 3 maneiras diferentes:

1. Controle de vitórias
2. Nenhuma diferença
3. Tratamento(s) prêmio(s)

Mesmo quando a nossa ferramenta de teste nos diz que esse é o resultado final, que não é onde nosso trabalho termina. Você precisa realizar análises pós-teste. E na maioria dos casos você precisa fazer isso fora da ferramenta de teste. Com certeza-Optimizely permite que você veja os resultados em segmentos pré-definidos, mas isso também não é suficiente.

Você precisa para integrar cada teste com o Google Analytics

Ambos VWO e Optimizely vem com built-in Google Analytics integrações, e os dados para cada teste devem ser enviados para o Google Analytics. Não é apenas para aprimorar seus recursos de análise, mas também para ter mais confiança nos dados. Sua ferramenta de teste pode estar gravando os dados incorretamente e, se você não tiver outra fonte para seus dados de teste, nunca poderá ter certeza se deve confiar ou não. Crie várias fontes de dados.

Optimizely Clássico

Em Optimizely definição Clássica até a integração é em Configurações de Projeto:

Você definitivamente quer usar o Universal Analytics em vez do Clássico do Google Analytics. Se você ainda não mudou seu rastreador GA, faça-o assim que puder.

não só você será capaz de tirar proveito de novos recursos GA, você pode ter até 20 testes A/B simultâneos enviando dados para o Google Analytics. Com o clássico, são apenas 5.

E uma vez que isso é feito em um nível global, você precisa escolher um slot para cada teste.:

certifique-se de que não existem vários testes que utilizam a mesma Dimensão Personalizada (ou Variável Personalizada para o Clássico) fenda na GA – eles vão substituir outros dados, e você não pode confiar mais nele. Um teste por slot.

o manual da Optimizely também possui instruções passo a passo para essa integração, incluindo como configurar dimensões personalizadas.

Optimizely X

em Optimizely X você tem que ir para Configurações e navegar para integrações, lá você pode encontrar o Google Universal Analytics, ligá-lo.

depois de ativar a integração no nível do projeto, você também deve ativá-la para cada experimento escolhendo o slot (dimensão personalizada).

assim como acontece com a Optimizely Clássico, você nunca deve escolher o mesmo slot para dois testes em execução ao mesmo tempo.

para obter informações detalhadas sobre como executar a integração, incluindo a criação das dimensões personalizadas no Google Analytics, dê uma olhada no Guia em seu site.

VWO

quando se trata de integrar o Google Analytics com seus experimentos VWO, tudo o que você precisa fazer é escolher a dimensão personalizada certa na guia outras configurações do experimento. Isso tem que ser feito com todos os experimentos.

tal como acontece com Optimizely, um experimento Ativo Por dimensão personalizada. Caso contrário, você corre o risco de sobrescrever alguns dos dados de teste armazenados no Google Analytics.

mais informações sobre a integração estão disponíveis em um artigo na base de Conhecimento da VWO.

acessando dados de experimentos no Google Analytics

uma vez feito isso, você pode ver qualquer resultado de teste no Google Analytics usando relatórios personalizados. Você pode fazer com que o relatório mostre todos os dados que desejar:

alguma variação tem mais receita por usuário? Por que isso-bem, vejamos o valor médio do carrinho ou a quantidade média – essas métricas podem lançar alguma luz aqui.

Use quaisquer métricas que sejam úteis em seu caso particular. Deslize o relatório personalizado usado no exemplo aqui.

observe que o Google Analytics não informa nada sobre significância estatística (valores p), níveis de potência, margens de erro e assim por diante. Você precisaria puxar esses dados para uma planilha do Excel / Google ou algo onde você calcula automaticamente isso. Não inicie a análise no GA antes que os dados sejam cozidos. Verifique se o tamanho e a significância da amostra necessários + os níveis de potência estão lá.

envie variações como eventos para usar segmentos avançados (públicos)

a integração integrada do Google Analytics não é infalível. Às vezes, os dados não são transmitidos, há uma discrepância de 20% a 50% – em algum lugar, de alguma forma, parte dos dados é perdida. Pode haver várias razões para isso, desde como os scripts são carregados, em que ordem para rotear timeouts e outros problemas. Eu lidei com muitos problemas diferentes ao longo dos anos.

meu bom amigo Ton Wesseling me contou pela primeira vez sobre esta solução alternativa: envie um evento para o Google Analytics cada vez que uma variação é carregada.Tudo o que você precisa fazer é adicionar uma linha ao JavaScript global de teste (executado para todas as variações), além de uma linha de código de rastreamento de eventos como a última linha para cada variação de teste.

portanto, esta é a linha que você deve adicionar no console Javascript do experimento Global:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


isso garante que o rastreador GA receba todas as informações assim que carregar.

aqui é onde você faz isso de forma otimizada. Primeiro abra as configurações durante a edição de um teste:

e agora escolha experimentar Javascript. Adicione o código:

E agora, você precisa adicionar uma linha de código de acompanhamento de eventos no final de cada variação (incluindo o Original). Você precisa apenas alterar o número de identificação do experimento e o nome da variação:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


Então, o que o código faz é enviar um evento para o GA, onde a categoria de evento é Optimizely, ação é o ID da Experiência (você pode obter que, a partir de sua URL, durante a edição de um teste) e o rótulo é Variation1 (também pode ser Original, Variação de 2, etc.). Não interação significa que nenhum engajamento é registrado. Caso contrário, sua taxa de rejeição para páginas de experimentos seria de 0%.

Aqui é onde você adiciona o código no Optimizely:

Agora você é capaz de criar segmentos do Google Analytics para cada uma das variações.

configuração do segmento:

crie segmentos separados para cada variação e aplique-os em qualquer relatório desejado. Então você pode ver algo assim:

apenas dados ilustrativos.

é claro que a mesma coisa pode ser feita com dimensões personalizadas. Apenas certifique – se de que a consistência dos dados esteja lá-compare visitas à página de agradecimento, números de receita, etc. entre seu Painel de resultados otimizado e a dimensão personalizada do GA ou relatório baseado em eventos”.

nenhuma diferença entre as variações do teste. E agora?

digamos que o resultado geral seja “nenhuma diferença significativa” entre as variações. Passar para outra coisa? Não tão rápido. Tenha estas duas coisas em mente:

1. Sua hipótese de teste pode ter sido correta, mas a implementação sugou

digamos que sua pesquisa qualitativa diga que a preocupação com a segurança é um problema. Quantas maneiras temos de reforçar a percepção de segurança? Ilimitado.

você pode estar em algo-do jeito que você fez algo sugado. Se você tiver dados que suportem sua hipótese, tente mais algumas iterações.

2. Só porque não houve diferença geral, o tratamento pode ter superado o controle em um ou dois segmentos.

Se você tem um elevador no retorno de visitantes e visitantes móveis, mas uma queda para novos visitantes e usuários da área de trabalho – esses segmentos podem cancelar-se mutuamente, e parece que é um caso de “nenhuma diferença”. Analise seu teste em segmentos-chave para ver isso.

veja os resultados do teste pelo menos nesses segmentos (certifique-se de que cada segmento tenha Tamanho de amostra adequado):

• área de Trabalho vs Tablet/Celular
• Novos vs. de Retorno
• Tráfego de terras diretamente na página que você está testando vs veio através de link interno

Se o seu tratamento realizado bem para um segmento específico, é hora de considerar uma abordagem personalizada para esse segmento específico.

não há diferença, mas você gosta de B Melhor do que a

somos seres humanos e temos preferências pessoais. Portanto, se o seu teste disser que não há diferença significativa entre as variações, mas você gosta mais de B – não há realmente nenhuma razão para não ir com B.

se B é uma melhoria de usabilidade ou representa melhor sua imagem de marca, vá em frente. Mas essas não são boas razões para ir com B Se B tiver um desempenho pior em um teste.

conclusão

não confie em uma única fonte de dados e vá mais fundo com sua análise do que apenas analisar os resultados gerais. Você encontrará mais vitórias e terá melhores dados para tomar decisões. Integrar sua ferramenta de teste com o Google Analytics é uma excelente maneira de fazer isso.

(Este post foi significativamente atualizado em setembro 2017)