Devriez-vous jamais tester plusieurs tests A / B en même temps?
D'accord, vous avez donc un site Web avec beaucoup de pages Web dessus. Il a un en-tête/nav et un pied de page qui apparaissent sur chaque page, évidemment. Et vous avez un tas d'autres pages individuelles uniques.
Vous souhaitez exécuter des tests A/B sur plusieurs pages différentes du site. Cependant, nous voulons également exécuter des tests A/B sur la navigation. La navigation qui se trouve sur chaque page ...
Donc, si vous prenez une page testée au hasard: vous avez différentes variantes de test de cette page ainsi que différentes variantes de test de la navigation globale sur cette page.
Alors, comment déterminez-vous les gagnants des tests lorsque vous avez plusieurs tests à la fois? Si un visiteur voit la variation de navigation B et la variation de page B, comment savez-vous quel test est réellement celui qui contribue à "l'augmentation des conversions" (ou quelle que soit votre mesure de succès)?
Alternativement, vous pouvez simplement diviser votre trafic afin que les gens ne soient soumis qu'à un seul test à la fois. Il semble que vous limitiez potentiellement votre audience (en fonction du trafic généré par votre site) si vous avez de nombreux tests différents sur le site que vous souhaitez exécuter.
Ou une autre alternative serait-elle que chaque fois que vous avez besoin de tester un élément d'interface utilisateur global (comme un nav ou un pied de page) que vous cessiez tous les autres tests individuels sur le site? Cela semble fonctionner, mais cela limite vraiment combien vous pouvez tester pendant cette période.
Quelle est la meilleure approche de ce problème? Quelle est la meilleure pratique pour déployer plusieurs tests sur un site en même temps?
Les tests A/B multiples sont non seulement très courants, mais ils sont extrêmement utiles, bien plus qu'un simple A/B. Cependant, il a un nom différent: Test multivarié.
Imaginez ceci: je lance un test pour page A et page B et décidez que la page B fonctionne mieux que la page A . Très bien, allons-y avec page B . Facile, non? Ensuite, je décide de tester un autre élément, disons un bouton, et le bouton A est meilleur que le bouton B . J'utilise donc le bouton A sur la page B et le problème est résolu.
Maintenant, la question est .... est le bouton A fonctionne mieux sur n'importe quelle instance, ou si je teste le bouton A sur page A cela fonctionnera mieux? Alors ... retour au point 0, je dois tout tester à nouveau au lieu de tout faire en même temps!
Multivarié à la rescousse!
Au lieu de faire quelque chose comme le cas ci-dessus, essayez les tests multivariés (ou plusieurs A/B)
Le test multivarié est une technique pour tester une hypothèse dans laquelle plusieurs variables sont modifiées. Le but des tests multivariés est de déterminer quelle combinaison de variations est la plus performante parmi toutes les combinaisons possibles.
Les sites Web et les applications mobiles sont constitués de combinaisons d'éléments modifiables. Un test multivarié changera plusieurs éléments, comme changer une image et un titre en même temps. Trois variantes de l'image et deux variantes du titre sont combinées pour créer six versions du contenu, qui sont testées simultanément pour trouver la variante gagnante.
Le nombre total de variations dans un test multivarié sera toujours:
[# of Variations on Element A] X [# of Variations on Element B] ... = [Total # of Variations]
Rappelez-vous, le contexte est tout, donc rien ne fonctionne comme dans un laboratoire propre. Vous aurez plusieurs variables, et l'exemple ci-dessus est extrêmement basique, et encore moins si vous ajoutez des fonctionnalités, pensez à géo, appareils, période de l'année, âge du public et ainsi de suite.
Donc, en bref: aussi longtemps que vous pouvez définir un sous-ensemble raisonnable et les tester autant que possible, allez avec test multivarié
Il n'est pas nécessaire de l'éviter et les tests MVT ne sont pas une solution, car il n'y a pas de différence conceptuelle entre les tests A/B et A/B/n.
Cependant, vous devez être conscient de certaines mises en garde, car il existe une possibilité théorique que les tests s'influencent mutuellement d'une manière qui entraîne des conclusions erronées d'au moins l'un des tests. Vous voudrez peut-être lire ceci pour une analyse plus détaillée des problèmes potentiels: http://blog.analytics-toolkit.com/2017/running-multiple-concurrent-ab-tests/