Quel est le seuil de confiance de 95,0% dans les expériences Google Analytics?
Dans Google Analytics Experiments, vous pouvez définir un seuil de confiance de 95,0% (ou de 99,0% ou de 99,5%). La documentation dit:
Définir un seuil de confiance: seuil de confiance minimum à atteindre pour qu'Analytics puisse déclarer un gagnant. Plus le seuil est élevé, plus vous êtes confiant dans le résultat. Si le seuil est plus élevé, Google Analytics peut prendre plus de temps pour déclarer le gagnant.
Je comprends les mots mais je n'ai aucune idée de ce que cela signifie. Qu'est-ce qu'un seuil de confiance de 95%?
Seuil de confiance (ou niveau) est un terme statistique qui, en résumé, indique la confiance avec laquelle vous pouvez affirmer que l'expérience A est meilleure que l'expérience B.
Il indique la signification statistique avec laquelle vous pouvez déclarer le gagnant. Vous pouvez en lire plus à ce sujet ici - http://www.stat.yale.edu/Courses/1997-98/101/meancomp.htm
Pour atteindre un niveau de confiance plus élevé, vous avez besoin de plus de données. Ainsi, Google aura besoin de plus de temps pour atteindre le niveau de confiance de 99,0% que nécessaire pour atteindre le niveau de confiance de 90%. Ils demandent donc ce nombre afin de pouvoir déclarer gagnant lorsqu'ils atteignent ce niveau de confiance.