Résultats de tests A / B inattendus
Nous venons de lancer un test A/B pour l'une de nos pages de destination à l'aide de Visual Website Optimizer. Nous sommes un site de réservation de réservation d'hôtel en ligne.
La page de destination affiche des informations sur un hôtel particulier (photos, description, plan, équipements) et une boîte de recherche de moteur pour sélectionner les dates du séjour, le type de chambre, la devise ... avec un bouton pour "rechercher" la disponibilité sur cette propriété ...
Le champ de recherche est maintenant placé en bas de la page (vous devez faire défiler vers le bas pour le voir). La variante consistait à placer le champ de recherche en haut de la page (horizontalement dans les deux cas). Dans ce type de pages de destination, tous nos concurrents ont le champ de recherche en haut de la page (généralement sur le côté gauche). Les statistiques du test: Pourcentage de trafic à inclure dans le test: 100% Nombre total de visiteurs: 250
CONTROL (127): Soumettre la recherche: 34.65% Soumettre la réservation: 4.72%
VARIATION (123): Soumettre la recherche: 27.64% Soumettre la réservation: 3.25%
Contrairement à notre hypothèse, les visiteurs préfèrent faire défiler vers le bas. Ils soumettent plus de recherches et de réservations (conversions) que dans la variante.
Feriez-vous confiance à ces résultats? Peut-être pas assez de visiteurs?
Ce que vous avez là est un résultat nul - il n'y a pas de réelle différence entre les deux.
Revenons des pourcentages aux nombres réels.
Contrôle (127): Recherche soumise 44, réservée 6
Variation (123): Recherche soumise 34, réservée 4
Rien qu'en regardant les chiffres, cela ne semble pas terriblement convaincant. Si seulement une personne de moins dans le contrôle et une personne de plus dans la variante avaient réservé, nous aurions les mêmes numéros sur les deux ...
Maintenant - il y a ce qu'on appelle la confiance statistique. C'est une expression de la confiance que nous pouvons être que nous n'avons pas simplement obtenu les résultats par hasard. Ceci est souvent exprimé comme une "valeur p". Il est généralement admis que vous voulez un p <0,05, ce qui se traduit en gros par une confiance de 95% que le résultat est significatif.
VWO a même un outil en ligne Nice pour le calculer pour vous http://visualwebsiteoptimizer.com/ab-split-significance-calculator/ :-)
Si nous regardons la valeur p pour la recherche, elle est de 0,115 - non significative.
Si nous regardons la valeur p pour les réservations, elle est de 0,4 - pas même proche de significative.
Les pourcentages sont complètement mauvais à considérer avec les tests A/B. Vous devez regarder le niveau de confiance statistique que vous avez une amélioration.
Ce que vous avez ici est un "non prouvé". Vous auriez besoin de collecter beaucoup plus de résultats, ou d'avoir une différence plus significative entre les résultats, avant de pouvoir être sûr que le changement avait amélioré ou aggravé les choses.
Bien. La moitié de l'idée d'un test A/B c'est pour être surpris ... ;-)
Mais je voudrais certainement enquêter davantage sur cette affaire!
Je ne dirais pas non plus que les résultats sont convaincants. La différence est trop petite pour conclure que vos visiteurs préfèrent A à B (et vous devriez avoir plus d'utilisateurs).
- Faites des tests utilisateurs ou des entretiens après tâche pour obtenir plus d '"informations de qualité".
- Découvrez également pourquoi si peu d'utilisateurs utilisent le champ de recherche. J'aurais pensé que la plupart des utilisateurs sont allés directement dans le champ de recherche ...