Cómo analizar los resultados de las pruebas A / B con Google Analytics

Cómo analizar los resultados de las pruebas A / B con Google Analytics

Las herramientas de pruebas A / B como Optimizely o VWO facilitan las pruebas, y eso es todo. Son herramientas para ejecutar pruebas, y no están diseñadas exactamente para el análisis posterior a la prueba. La mayoría de las herramientas de prueba han mejorado a lo largo de los años, pero aún carecen de lo que se puede hacer con Google Analytics, que es como todo.

Cuando ejecuta una prueba hasta que alcanza la validez (no es lo mismo que la significación), debe hacer un análisis posterior a la prueba para decidir el camino a seguir.

Mirar una pantalla de resumen como esta no es suficiente:

Utilice estas vistas at-a-glace para una comprobación rápida y ver cuál es el estado general. Pero debe ir más allá una vez que la prueba esté «cocinada».

Su prueba realmente solo puede terminar de 3 maneras diferentes:

1. Victorias de control
2. Sin diferencia
3. Tratamiento(es) victoria(es))

Incluso cuando nuestra herramienta de pruebas nos dice que ese es el resultado final, no es ahí donde termina nuestro trabajo. Es necesario realizar análisis posteriores a la prueba. Y en la mayoría de los casos, debe hacerlo FUERA de la herramienta de prueba. Sure-Optimizely le permite ver los resultados en segmentos predefinidos, pero eso tampoco es suficiente.

Debe integrar cada prueba con Google Analytics

Tanto VWO como Optimizely vienen con integraciones integradas de Google Analytics, y los datos de cada prueba deben enviarse a Google Analytics. No es solo para mejorar sus capacidades de análisis, sino también para tener más confianza en los datos. Es posible que la herramienta de prueba esté registrando los datos de forma incorrecta, y si no tiene otra fuente para los datos de prueba, nunca podrá estar seguro de confiar en ella o no. Cree múltiples fuentes de datos.

Optimizely Classic

En la configuración de Optimizely Classic, la integración se encuentra en Configuración de proyecto:

Definitivamente, desea usar Universal Analytics en lugar del clásico Google Analytics. Si aún no has cambiado tu rastreador GA, hazlo tan pronto como puedas.

No solo podrá aprovechar las nuevas funciones de GA, sino que también podrá tener hasta 20 pruebas A/B simultáneas que envían datos a Google Analytics. Con Classic son solo 5.

Y una vez hecho esto a nivel global, debe elegir una ranura para cada prueba:

Asegúrese de que no haya varias pruebas que utilicen la misma ranura de Dimensión Personalizada (o Variable Personalizada para Classic) en GA: sobrescribirán los datos de las demás y ya no podrá confiar en ellos. Una prueba por ranura.

El manual de Optimizely también tiene instrucciones paso a paso para esta integración, incluida la configuración de dimensiones personalizadas.

Optimizely X

En Optimizely X tienes que ir a Configuración y navegar a Integraciones, allí puedes encontrar Google Universal Analytics, activarlo.

Una vez que haya activado la integración a nivel de proyecto, también debe activarla para cada experimento seleccionando la ranura (Dimensión personalizada).

Al igual que con Optimizely Classic, nunca debe elegir la misma ranura para dos pruebas que se ejecutan al mismo tiempo.

Para obtener información detallada sobre cómo ejecutar la integración, incluida la creación de Dimensiones personalizadas en Google Analytics, consulte la guía de su sitio web.

VWO

Cuando se trata de integrar Google Analytics con sus experimentos de VWO, todo lo que tiene que hacer es elegir la Dimensión personalizada correcta en la pestaña Otros de la Configuración del experimento. Esto tiene que hacerse con cada experimento.

Al igual que con Optimizely, un experimento activo por Dimensión personalizada. De lo contrario, corre el riesgo de sobrescribir algunos de los datos de prueba almacenados en Google Analytics.

Encontrará más información sobre la integración en un artículo de la base de conocimientos de VWO.

Acceder a los datos del experimento en Google Analytics

Una vez hecho esto, podrá ver cualquier resultado de prueba en Google Analytics mediante informes personalizados. Puede hacer que el informe le muestre los datos que desee:

Algunos variación tiene más ingresos por usuario? Por qué, bueno, veamos el valor promedio del carrito o la cantidad promedio, esas métricas pueden arrojar algo de luz aquí.

Use las métricas que sean útiles en su caso particular. Deslice el informe personalizado utilizado en el ejemplo de aquí.

Tenga en cuenta que Google Analytics no le dirá nada sobre significación estadística (valores p), niveles de potencia, márgenes de error, etc. Tendrías que extraer esos datos en una hoja de cálculo de Excel / Google o en algo donde puedas calcularlos automáticamente. No inicie el análisis en GA antes de que se cocinen los datos. Asegúrese de que el tamaño de muestra y el significado y los niveles de potencia necesarios estén ahí.

Enviar variaciones como eventos para usar segmentos avanzados (audiencias)

La integración integrada de Google Analytics no es infalible. A veces, los datos no se transmiten, hay una discrepancia del 20% al 50%, en algún lugar, de alguna manera, parte de los datos se pierde. Podría haber numerosas razones para ello, desde cómo se cargan los scripts, en qué orden para los tiempos de espera de los scripts y otros problemas. He lidiado con muchos problemas diferentes a lo largo de los años.

Mi buen amigo Ton Wesseling me habló por primera vez de esta solución: enviar un evento a Google Analytics cada vez que se carga una variación.

Todo lo que necesita hacer es agregar una línea al Javascript Global de prueba (ejecutado para todas las variaciones), más una línea de código de seguimiento de eventos como última línea para cada variación de prueba.

Así que esta es la línea que debe agregar en la consola Javascript del Experimento Global:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


Esto asegura que el rastreador GA obtenga toda la información una vez que se cargue.

Aquí es donde lo haces en Optimizely. Primero abra la configuración mientras edita una prueba:

Y ahora elige Experimentar Javascript. Añade el código allí:

Y ahora necesita agregar una línea de código de seguimiento de eventos al final de cada variación (incluido el Original). Solo tiene que cambiar el número de identificación del experimento y el nombre de la variación:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


Entonces, lo que hace el código es enviar un evento a GA donde la categoría de evento es Optimizely, la acción es el ID del experimento (puede obtenerlo de su URL mientras edita una prueba) y la etiqueta es Variación1 (también puede ser Original, Variación 2, etc.). La falta de interacción significa que no se registra ningún compromiso. De lo contrario, tu tasa de rebote para las páginas de experimentos sería del 0%.

Aquí es donde se agrega el código en Optimizely:

Ahora puedes crear segmentos en Google Analytics para cada una de las variaciones.Configuración del segmento

:

Cree segmentos separados para cada variación y aplíquelos en cualquier informe que desee. Para que pudieras ver algo como esto:

Solo datos ilustrativos.

Lo mismo se puede hacer, por supuesto, con dimensiones personalizadas. Solo asegúrese de que la consistencia de los datos esté ahí: compare las visitas a la página de agradecimiento, los números de ingresos, etc. entre su panel de resultados de Optimizely y el informe de dimensión personalizada o basado en eventos de GA».

No hay diferencia entre las variaciones del ensayo. ¿Y ahora qué?

Digamos que el resultado general es ‘ninguna diferencia significativa’ entre las variaciones. Pasar a otra cosa? No tan rápido. Tenga en cuenta estas 2 cosas:

1. Su hipótesis de prueba podría haber sido correcta, pero la implementación fue una mierda

Digamos que su investigación cualitativa dice que la preocupación por la seguridad es un problema. ¿De cuántas maneras tenemos que reforzar la percepción de seguridad? Ilimitado.

Es posible que estés en algo, de la misma manera que hiciste algo, apesta. Si tienes datos que respaldan tu hipótesis, prueba algunas iteraciones más.

2. Solo porque no hubo diferencia en general, el tratamiento podría tener control de latidos en uno o dos segmentos.

Si tienes un aumento en los visitantes que regresan y los visitantes móviles, pero una caída para los nuevos visitantes y usuarios de escritorio, esos segmentos podrían cancelarse entre sí, y parece que es un caso de «no hay diferencia». Analice su prueba en segmentos clave para ver esto.

Mire los resultados de la prueba al menos en estos segmentos (asegúrese de que cada segmento tenga un tamaño de muestra adecuado):

• Escritorio vs Tablet/Móvil
• Nuevo vs Devuelto
• El tráfico que aterriza directamente en la página que está probando vs llegó a través de un enlace interno

Si su tratamiento funcionó bien para un segmento específico, es hora de considerar un enfoque personalizado para ese segmento en particular.

No hay diferencia,pero te gusta más B que A

Somos seres humanos y tenemos preferencias personales. Por lo tanto, si su prueba dice que no hay una diferencia significativa entre las variaciones, pero le gusta más B, realmente no hay razón para no optar por B.

Si B es una mejora de usabilidad o representa mejor la imagen de tu marca, hazlo. Pero esas no son buenas razones para ir con B si B se desempeña peor en una prueba.

Conclusión

No confíe en una sola fuente de datos, y profundice en su análisis más allá de simplemente observar los resultados generales. Encontrarás más victorias y tendrás mejores datos para tomar decisiones. Integrar su herramienta de prueba con Google Analytics es una excelente manera de hacerlo.

(Esta publicación se actualizó significativamente en septiembre 2017)