Comprendre le soulèvement dans les tests A / B
Disons que nous avons a(n) (positif) taux de résultat que nous essayons d'optimiser.
Les caractéristiques affectent ce résultat.
Dans un test, nous constatons que les utilisateurs qui ont utilisé une fonctionnalité spécifique X ont un taux de résultat positif plus élevé que les utilisateurs qui n'ont pas utilisé cette fonctionnalité.
Quelle est alors la signification de plift par rapport au taux de résultat positif? Concrètement, comment mesurer l’augmentation du taux de résultat positif si tous les nouveaux utilisateurs commençaient à utiliser la fonction X?
Exemple:
- Nb d'utilisateurs avec un résultat positif: 10
- Nb d'utilisateurs avec un résultat positif avec la fonctionnalité X: 8
- Nb d'utilisateurs avec un résultat positif sans fonctionnalité X: 2
- Nb de nouveaux utilisateurs: 5
- Nb de nouveaux utilisateurs avec la fonctionnalité X et donc un résultat positif: 3
- Nb de nouveaux utilisateurs avec fonction X sans résultat positif: 2
Quelle est alors l'élévation du résultat positif si tous les nouveaux utilisateurs utilisaient la fonctionnalité X?
Les outils d'optimisation fournissent généralement plus de statistiques que le% de remontée. Certains vous diront même combien de jours/semaines le test devrait s'exécuter compte tenu de votre trafic actuel, de votre taux de conversion actuel et de la hausse attendue.
Les deux choses les plus importantes à noter sont les Niveau de confiance et Marge d'erreur.
Cela utilise généralement une mesure statistique comme le T-Test de Student (ou similaire selon le logiciel) et peut être traduit comme suit:
Hypothèses:
- La version B obtient une augmentation de 5% par rapport à un groupe de contrôle/par défaut.
- Il y a une marge d'erreur de 10%.
- Nous utilisons un niveau de confiance de 90%.
Traduction:
Dans 90% des cas (notre niveau de confiance choisi) si vous continuez à exécuter l'expérience pendant un temps infini, la version B (par rapport au contrôle) obtiendra entre 4,5% et 5,5% de conversions supplémentaires. Parce que +/- 10% d'une augmentation de 5% est de 0,5%.
Il est donc possible que certaines personnes se convertissent au-dessus ou en dessous de cette plage, mais 90% du temps, nous avons observé l'augmentation que nous pouvons (espérons-le) dire est due au changement que nous avons introduit (notre version B par rapport au groupe de contrôle) .
J'espère que cela t'aides!