Comment analyser les résultats de vos tests A/B avec Google Analytics

Comment analyser les résultats de vos tests A/B avec Google Analytics

Les outils de test A/ B comme Optimizely ou VWO facilitent les tests, et c’est à peu près tout. Ce sont des outils pour exécuter des tests, et pas exactement conçus pour l’analyse post-test. La plupart des outils de test se sont améliorés au fil des ans, mais il manque encore ce que vous pouvez faire avec Google Analytics – ce qui est comme tout.

Lorsque vous exécutez un test jusqu’à ce que vous ayez atteint la validité (pas la même chose que la signification), vous devez effectuer une analyse post-test pour décider de la voie à suivre.

Regarder un écran de résumé comme celui-ci ne suffit pas:

Utilisez ces vues at-a-glace pour une vérification rapide de l’état général. Mais vous devez aller au-delà une fois que le test est « cuit ».

Votre test ne peut vraiment se terminer que de 3 manières différentes:

1. Le contrôle gagne
2. Aucune différence
3. Traitement(s) gagne(s)

Même lorsque notre outil de test nous dit que c’est le résultat final, ce n’est pas là que se termine notre travail. Vous devez effectuer une analyse post-test. Et dans la plupart des cas, vous devez le faire EN DEHORS de l’outil de test. Sure–Optimizely vous permet de voir les résultats sur des segments prédéfinis, mais cela ne suffit pas non plus.

Vous devez intégrer chaque test à Google Analytics

VWO et Optimizely sont tous deux dotés d’intégrations Google Analytics intégrées, et les données de chaque test doivent être envoyées à Google Analytics. Ce n’est pas seulement pour améliorer vos capacités d’analyse, mais aussi pour être plus confiant dans les données. Votre outil de test peut enregistrer les données de manière incorrecte, et si vous n’avez pas d’autre source pour vos données de test, vous ne pouvez jamais être sûr de lui faire confiance ou non. Créez plusieurs sources de données.

Optimizely Classic

Dans la configuration d’Optimizely Classic, l’intégration se trouve sous Paramètres du projet:

Vous souhaitez absolument utiliser Universal Analytics au lieu de Google Analytics classique. Si vous n’avez pas encore changé votre tracker GA, faites-le dès que vous le pouvez.

Non seulement vous pourrez profiter des nouvelles fonctionnalités GA, mais vous pouvez également envoyer des données à Google Analytics jusqu’à 20 tests A/B simultanés. Avec Classic, c’est seulement 5.

Et une fois que cela est fait au niveau global, vous devez choisir un emplacement pour chaque test:

Assurez–vous qu’il n’y a pas plusieurs tests qui utilisent la même dimension personnalisée (ou Variable personnalisée pour Classic) dans GA – ils écraseront les données des autres, et vous ne pouvez plus y faire confiance. Un test par fente.

Le manuel d’Optimizely contient également des instructions étape par étape pour cette intégration, y compris la configuration de dimensions personnalisées.

Optimizely X

Dans Optimizely X, vous devez accéder aux Paramètres et accéder aux intégrations, vous pouvez y trouver Google Universal Analytics, l’activer.

Une fois que vous avez activé l’intégration au niveau du Projet, vous devez également l’activer pour chaque expérience en sélectionnant l’emplacement (Dimension personnalisée).

Tout comme avec Optimizely Classic, vous ne devez jamais choisir le même emplacement pour deux tests exécutés en même temps.

Pour des informations détaillées sur la façon de faire fonctionner l’intégration, y compris la création des dimensions personnalisées dans Google Analytics, consultez le guide sur leur site Web.

VWO

Lorsqu’il s’agit d’intégrer Google Analytics à vos expériences VWO, il vous suffit de choisir la bonne dimension personnalisée dans l’onglet Autres des Paramètres de l’expérience. Cela doit être fait avec chaque expérience.

Comme avec Optimizely, une expérience active par dimension personnalisée. Sinon, vous risquez d’écraser certaines des données de test stockées dans Google Analytics.

Plus d’informations sur l’intégration sont disponibles dans un article de la base de connaissances de VWO.

Accès aux données d’expérience dans Google Analytics

Une fois cela fait, vous pouvez consulter n’importe quel résultat de test dans Google Analytics à l’aide de rapports personnalisés. Vous pouvez faire en sorte que le rapport vous montre LES données que vous souhaitez:

Une certaine variation a plus de revenus par utilisateur? Pourquoi est-ce que – eh bien, regardons la valeur moyenne du panier ou la quantité moyenne – ces mesures peuvent éclairer ici.

Utilisez toutes les métriques utiles dans votre cas particulier. Faites glisser le rapport personnalisé utilisé dans l’exemple ici.

Notez que Google Analytics ne vous dira rien sur la signification statistique (valeurs p), les niveaux de puissance, les marges d’erreur, etc. Vous devez extraire ces données dans une feuille de calcul Excel / Google ou quelque chose où vous calculez automatiquement cela. Ne démarrez pas l’analyse en GA avant que les données ne soient cuites. Assurez-vous que la taille de l’échantillon nécessaire et la signification + les niveaux de puissance sont là.

Envoyer des variations en tant qu’événements pour utiliser des segments avancés (audiences)

L’intégration intégrée de Google Analytics n’est pas infaillible. Parfois, les données ne sont pas transmises, il y a un écart de 20% à 50% – quelque part, une partie des données est perdue. Il pourrait y avoir de nombreuses raisons à cela, de la façon dont les scripts sont chargés, dans quel ordre aux délais de script et autres problèmes. J’ai traité beaucoup de problèmes différents au fil des ans.

Mon bon ami Ton Wesseling m’a d’abord parlé de cette solution de contournement: envoyez un événement à Google Analytics chaque fois qu’une variation est chargée.

Tout ce que vous devez faire est d’ajouter une ligne au Javascript global de test (exécuté pour toutes les variantes), plus une ligne de code de suivi des événements comme dernière ligne pour chaque variante de test.

Voici donc la ligne que vous devez ajouter dans la console Javascript de l’expérience globale:

window.ga=window.ga||function(){(window.ga.q=window.ga.q||).push(arguments);};window.ga.l=+new Date();


Cela garantit que le tracker GA obtient toutes les informations une fois qu’il est chargé.

Voici où vous le faites dans Optimizely. Ouvrez d’abord les paramètres lors de la modification d’un test:

Et maintenant, choisissez Experiment Javascript. Ajoutez le code là-bas:

Et maintenant, vous devez ajouter une ligne de code de suivi des événements à la fin de chaque variante (y compris l’original). Vous devez simplement changer le numéro d’identification de l’expérience et le nom de la Variation:

window.ga('send', 'event', 'Optimizely', 'exp-2207684569', 'Variation1', {'nonInteraction': 1});


Donc, ce que le code fait, c’est envoyer un événement à GA où la catégorie d’événement est optimale, l’action est l’ID d’expérience (vous pouvez l’obtenir à partir de votre URL lors de la modification d’un test) et l’étiquette est Variation1 (peut aussi être Original, Variation 2, etc.). La non-interaction signifie qu’aucun engagement n’est enregistré. Sinon, votre taux de rebond pour les pages d’expérience serait de 0%.

Voici où vous ajoutez le code dans Optimizely:

Vous pouvez désormais créer des segments dans Google Analytics pour chacune des variantes.

Configuration du segment:

Créez des segments distincts pour chaque variante et appliquez-les à n’importe quel rapport que vous souhaitez. Donc, vous pourriez voir quelque chose comme ça:

Données à titre indicatif uniquement.

La même chose peut bien sûr être faite avec des dimensions personnalisées. Assurez-vous simplement que la cohérence des données est là – comparez les visites de page de remerciement, les chiffres de revenus, etc. entre votre panneau de résultats Optimizely et votre rapport de dimension personnalisée GA ou basé sur des événements « .

Aucune différence entre les variations de test. Et maintenant ?

Disons que le résultat global n’est « aucune différence significative » entre les variations. Passer à autre chose ? Pas si vite. Gardez ces 2 choses à l’esprit:

1. Votre hypothèse de test aurait peut-être eu raison, mais l’implémentation a aspiré

Disons que votre recherche qualitative indique que le souci de la sécurité est un problème. De combien de façons avons-nous pour renforcer la perception de la sécurité? Illimité.

Vous pourriez être sur quelque chose – juste la façon dont vous avez fait quelque chose de nul. Si vous avez des données qui soutiennent votre hypothèse, essayez quelques itérations supplémentaires.

2. Tout simplement parce qu’il n’y avait aucune différence dans l’ensemble, le traitement aurait pu battre le contrôle dans un segment ou deux.

Si vous obtenez une augmentation des visiteurs récurrents et des visiteurs mobiles, mais une baisse pour les nouveaux visiteurs et les utilisateurs de bureau – ces segments peuvent s’annuler mutuellement, et il semble que ce soit un cas de « pas de différence ». Analysez votre test à travers des segments clés pour le voir.

Examinez les résultats des tests au moins dans ces segments (assurez-vous que chaque segment a une taille d’échantillon adéquate):

• Ordinateur de bureau vs Tablette / Mobile
• Nouveau vs Retour
• Trafic qui atterrit directement sur la page que vous testez vs via un lien interne

Si votre traitement a bien fonctionné pour un segment spécifique, il est temps d’envisager une approche personnalisée pour ce segment particulier.

Il n’y a pas de différence, mais vous aimez mieux B que A

Nous sommes des êtres humains et nous avons des préférences personnelles. Donc, si votre test indique qu’il n’y a pas de différence significative entre les variations, mais que vous aimez mieux B, il n’y a vraiment aucune raison de ne pas aller avec B.

Si B est une amélioration de la convivialité ou représente mieux votre image de marque, allez-y. Mais ce ne sont pas de bonnes raisons d’aller avec B si B fonctionne moins bien dans un test.

Conclusion

Ne vous fiez pas à une seule source de données et approfondissez votre analyse plutôt que de simplement examiner les résultats globaux. Vous obtiendrez plus de gains et disposerez de meilleures données pour prendre des décisions. L’intégration de votre outil de test avec Google Analytics est un excellent moyen de s’y prendre.

(Cet article a été mis à jour de manière significative en septembre 2017)