Technique de test A / B
Mon ami et moi avons eu une discussion sur les différentes façons de tester A/B. Sa technique consistait à effectuer un seul petit changement (par exemple, changer la couleur d'un bouton), puis effectuer des tests A/B pour voir quel effet le changement avait. Ma technique consiste à essayer un changement assez radical (par exemple, changer complètement la mise en page et le contenu) et tester A/B.
Sa technique est beaucoup plus scientifique et vous obtenez une meilleure compréhension des utilisateurs mais vous pourriez éventuellement finir par affiner un chemin non optimal. Avec ma technique, vous ne savez pas exactement pourquoi une version est meilleure qu'une autre, mais elle vous permet d'aller plus vite et d'essayer de nouvelles idées.
L'une de ces techniques est-elle meilleure que l'autre?
Non, ce n'est pas mieux. Ils traitent de différents aspects ou stratégies et, en général, vous avez besoin des deux.
Un petit changement vous permet d'affiner votre conception et d'avoir une meilleure compréhension de ce qui affecte la conversion, mais peut vous permettre de vous retrouver avec un maxima locaux.
Un plus changement radical avec de nombreux éléments ne vous aidera pas à comprendre ce qui affecte la conversion, mais peut également vous montrer une conception nettement meilleure.
Considérez la deuxième méthode comme optimisation du cours, et la première comme optimisation fine.
Imaginez que l'optimisation de votre conception se déplace le long de l'axe des x dans l'image ci-dessus et de l'axe des y le taux de conversion que vous obtenez par ce changement.
Maintenant, si vous étiez près du maximum local, vous voudriez une optimisation fine. Alors que si vous étiez plus loin, vous voudriez plus d'optimisation de cours. Le problème est que nous n'avons pas une courbe de Nice comme celle-ci, et nous ne voyons que ce que nous testons. C'est pourquoi vous devez utiliser les deux techniques.
Il semble que vous ayez besoin de tests multivariés . Par exemple, sélectionnez quatre éléments sur la page que vous souhaitez tester. Vous pouvez radicalement repenser chacun des éléments afin que dans une version du test, vous testiez une page principalement repensée. Ces quatre éléments seraient alors activés ou désactivés alternativement. Vous vous retrouveriez avec 16 variations contre votre contrôle (la conception originale).
Disons que vos éléments sont les nombres 1, 2, 3 et 4. Vous testeriez les variations comme le modèle ci-dessous, les tirets (-) signifiant que l'élément n'était pas "activé" dans cette variation:
1234
1-34
1--4
- 234
12--
123-
1-34
1-3-
(etc.)
Smashing Magazine a n bon article sur les tests multivariés .
En ce qui concerne la question de savoir si une méthode est meilleure que l'autre, avec le test multivarié (par rapport à A/B), vous saurez exactement quel élément a provoqué un taux de clics supérieur ou amélioré la convivialité de la page car elle sera utilisée avec et sans toutes les autres variantes.
Avec les tests A/B, en particulier avec le test d'une refonte à grande échelle, vous ne saurez pas si vous auriez pu faire mieux car si tout est changé, vous ne pouvez pas attribuer la modification à un seul élément.
Je sais qu'en tant que designer, j'adore faire de gros remaniements, mais ce qui aide souvent l'utilisateur final, ce sont souvent les tests minutieux des éléments individuels. Et je crois fermement que, en particulier dans les flux d'applications ou les interactions de maintenance, les meilleurs changements d'interface utilisateur sont ceux qui sont invisibles pour l'utilisateur final. En effectuant des changements progressifs d'éléments qui testent mieux, vous aurez au fil du temps une page complètement repensée, mais votre utilisateur ne s'en apercevra jamais car les nouveaux éléments ont été introduits lentement.
De cette façon, vous pourrez éviter la dissonance cognitive que peut entraîner une refonte unique.
Les deux sont des approches valables. Votre ami pourrait obtenir des résultats statistiquement significatifs, car plus la refonte est radicale, plus la variation entre les résultats augmente. De plus, il faut beaucoup plus de temps pour obtenir une pertinence statistique lors du test d'un petit changement tel que le changement de la couleur d'un bouton de conversion du rouge au vert par opposition à un grand changement comme une refonte complète. Même si ce n'est pas une règle absolue.
La chose est une approche spécifique pour les tests A/B doit être suivie en fonction de l'hypothèse que vous souhaitez réfuter.
Lors du démarrage de tout nouveau test A/B, nous devons toujours commencer l'expérience en supposant une hypothèse nulle. Le but de l'exécution du test A/B est de réfuter cette hypothèse nulle. Par conséquent, vous pouvez utiliser les deux méthodes (petits ou grands changements de refonte) en fonction de l'objectif que vous souhaitez atteindre.
Vous pouvez lire certaines de ces considérations dans ces articles: http://www.growthgiant.com/blog/the-pitfalls-ab-testing/
Pour tirer une conclusion raisonnable basée sur le test A/B, vous devez obtenir des statistiques. Les statistiques sont plus précises si vous avez suffisamment de visiteurs et qu'elles sont similaires. Vous devez tenir compte de votre valeur de conversion et du flux de visiteurs. Si vous avez 10 visiteurs par jour, vous devez passer beaucoup de temps à tester la modification d'un paramètre unique. Je pense que vous devez tenir compte de l'aspect temps, bien sûr, si vous et votre ami avez un flux de visiteurs énorme et des outils mathématiques parfaits pour analyser plusieurs données statistiques.