Quand devrais-je répartir le trafic de manière uniforme entre toutes les variantes d'une expérience?
En fait, nous testons nos symboles de confiance dans notre magasin avec une expérience GA. (tous les symboles de confiance contre aucun symbole de confiance)
Notre dernier test a duré 16 jours et a déclaré vainqueur alors que son taux de conversion n'était que de 0,26% supérieur à celui du perdant. Je n’ai pas le sentiment d’accepter ce résultat, à cause du faible nombre de transactions dans notre groupe de test.
Nos paramètres de test étaient:
Objectif de cette expérience: Transactions
Fixer un seuil de confiance: 95%
Répartissez le trafic uniformément sur toutes les variantes: off
Sessions | Transactions | Conversion Rate | Compare to Original | Probability of Outperforming Original
50,156 | 768 | 1.53% | 0% | 0.0%
11,874 | 151 | 1.27% | -16.95% | 1.7%
Je sais que je pourrais définir le seuil de confiance à 99,5% pour obtenir un résultat plus précis. Cela ferait monter les chiffres et j'imagine que cela me donnerait une meilleure impression d'accepter le résultat.
Mais y a-t-il une raison de régler le Distribute traffic evenly across all variants sur on?
Pourrait-il nous donner un meilleur résultat? Je sais que cela nous coûterait quelques ventes, mais si le résultat était meilleur, nous aimerions payer ce prix.
Remarque: Je pense que répartir le trafic de manière uniforme entre toutes les variantes augmenterait les chances d'atteindre un résultat d'importance statistique de celui qui ne donne pas les mêmes résultats que la meilleure. Il est donc un peu déroutant pour moi que GA permette d'ajuster le trafic de manière dynamique en fonction des performances de variation, puis déclare toujours gagnant si la masse du résultat n'est pas statistiquement significative.
La réponse à cette question dépendra en grande partie de l'opinion sans davantage de données. Cela vaut la peine de regarder calculs de la valeur P si vous voulez une réponse scientifique impartiale.
Je dirais qu'avec un taux de conversion aussi bas, vous souhaiterez exécuter l'expérience à plus grande échelle pour évaluer les différences. Le résultat actuel est pas statistiquement significatif.