Test A / B vs analyse de cohorte
J'avais quelques questions sur les tests A/B vs l'analyse de cohorte (en divisant les utilisateurs en fonction du temps d'enregistrement).
1.) Les tests A/B sont-ils principalement utilisés pour les changements de conception UX (tels que le changement de couleur du bouton d'inscription) ou peuvent être utilisés pour diviser les fonctionnalités de test (telles que le taux de conversion sur freemium vs essai gratuit)
2.) Quelles conclusions puis-je tirer des résultats obtenus des tests A/B vs analyse de cohorte? Exemple: les tests A/B permettent de nous dire que cette fonctionnalité améliore la conversion en général quel que soit l'utilisateur. L'analyse de cohorte Vs nous indique que la conversion des utilisateurs se joignant au mois 2 est meilleure qu'au mois 1 nous donne la direction générale d'un site ( le taux de conversion peut ou non être dû à une nouvelle fonctionnalité mise en œuvre entre le mois 1 et le mois 2).
3.) Est-il vrai que les tests A/B peuvent être utilisés pour tester plus rapidement l'hypothèse et l'analyse de cohorte prend plus de temps?
4.) Devrions-nous exécuter des tests A/B sur une nouvelle fonctionnalité pour voir si le taux de conversion s'est amélioré, puis utiliser l'analyse de cohorte pour voir l'effet à long terme de la nouvelle fonctionnalité? (si l'analyse de cohorte montre une amélioration de la conversion d'un mois à l'autre, dans quelle mesure pouvons-nous l'attribuer à la nouvelle fonctionnalité mise en œuvre si aucune autre modification n'est apportée au site)
Le point de faire des tests A/B plutôt que de cohorte est qu'il élimine la variable de convergence de temps. Les données que vous collectez ne sont valables que s'il n'y a pas d'explications ultérieures pour lesquelles deux groupes se comportent différemment, et les groupes qui font des choses à des moments différents se comporteront souvent différemment.
Par exemple: si vous êtes un site de commerce électronique et que vous comparez les comportements des utilisateurs entre les personnes qui se sont inscrites en décembre et celles qui se sont inscrites en janvier, vous obtiendrez des résultats extrêmement différents en raison de la saison des achats de Noël. Cela invaliderait totalement une analyse de cohorte, sauf si votre objectif est d'observer comment ces deux groupes se comportent différemment.
En bref, Le test A/B sert à tester en quoi deux caractéristiques sont différentes. L'analyse de cohorte sert à tester comment deux les groupes d'utilisateurs sont différents.
- Vous pouvez tester A/B tout ce que vous voulez! Les seules exigences sont que les deux côtés (a) se produisent simultanément et (b) soient assignés au hasard.
- Encore une fois, A/B vous explique comment les fonctionnalités diffèrent en termes d'efficacité et l'analyse de cohorte vous indique comment les groupes d'utilisateurs diffèrent dans le comportement.
- A/B est plus rapide si votre analyse de cohorte vous oblige à attendre que de nouvelles personnes s'inscrivent. Mais si vous divisez simplement les utilisateurs existants en blocs, cela devrait prendre le même temps.
- C'est une approche raisonnable, mais rappelez-vous qu'au bout du compte, la méthode de recherche que vous appliquez doit être basée sur le type d'informations que vous cherchez à recueillir.