Quel est le nombre minimum d'utilisateurs avec lesquels je devrais faire des tests AB pour être efficace?
Le test avec seulement 1000 utilisateurs en test AB peut-il nous donner de vraies données? ou ce sera juste une perte de temps?
Lorsque les options A et B ont des taux de réponse sensiblement différents, 1 000 suffisent.
La plateforme de test A/B populaire, Optimizely, l'explique de cette façon: https://help.optimizely.com/Analyze_Results/Statistical_significance_in_Optimizely
Le principal argument de vente des plates-formes de test A/B est qu'elles fournissent des résultats "statistiquement significatifs", mais "statistiquement significatifs" est un concept relatif. Par exemple, Optimizely définit la signification à 90%. En pratique, lorsque les variations testées sont mineures, vous devrez peut-être 3000 à 5000 clics sur chaque variante pour atteindre le seuil de 90% et déclarer un gagnant.
BTW un seuil de 90% est OK pour le marketing, mais la plupart des expériences scientifiques fixent leur marque à 95% ou 98%.
Heureusement, l'UX n'est pas une science. La plupart de nos débats sur la conception peuvent être réglés avec seulement cinq sujets de test. Voir le célèbre article de NNG sur les tests en petits lots: https://www.nngroup.com/articles/how-many-test-users/