web-dev-qa-db-fra.com

Effectuer différents tests sur un site Web à la fois

Nous avons notre propre logiciel de test A/B qui fonctionne de cette façon:

  • Chaque fois qu'un utilisateur visite une page avec un test, il obtient un marqueur de cookie.
  • Pour la variante A dans le test un, cela peut ressembler à ceci: test1_a
  • Pour le test 2 et la variante b: test2_b etc.
  • Une fois qu'un utilisateur a effectué un achat, il est écrit dans le panneau A/B pour le test connecté au marqueur. Par exemple, si l'utilisateur avait le marqueur "test1_a", la variante A dans le test 1 obtiendra une conversion +1 une fois qu'un utilisateur a acheté quelque chose.

Si nous exécutons différents tests sur un site Web à la fois, un utilisateur obtient plusieurs marqueurs s'il visite différentes pages de test, comme:

test1_a, test2_b, etc.

Après cela, si l'utilisateur effectue un achat, notre logiciel A/B fera +1 vente à CHAQUE test, donc

  • +1 vente pour varian A dans le test 1
  • +1 vente pour varian B dans le test 2, etc.

Est-il correct de fournir des tests A/B de cette manière?

Remarque: ceci est différent de fournir un test multivariable sur la même page - il s'agit de tester des pages complètement différentes du site Web à la fois, en tenant compte du fait qu'un utilisateur peut les visiter toutes.

ab-testing
6
user39061

Il y a deux problèmes avec votre approche:

  1. Vous ne comptez que le succès - ce qui rend difficile l'évaluation des performances lorsque votre a/b change - par exemple si vous ne changez que b en c, vous avez maintenant deux fois plus d'utilisateurs qui ont vu a, puis b ou c. Vous souhaitez compter toutes les vues ainsi que les conversions
  2. Peut-être que cela convient à votre scénario, mais vous ignorez le flux de l'utilisateur - vous ne pouvez pas dire si le fait que l'utilisateur a vu a1 a eu un impact lorsqu'il a vu b2.
    En d'autres termes, comment comparez-vous les performances du débit a-b-a-a par rapport à a-b-b-a?
    Il peut sembler que cette approche vous permet de tester plusieurs scénarios à la fois, mais je soupçonne que vous confondez vos données. Vous obtiendrez de meilleurs résultats en variant un seul test à la fois - c'est-à-dire que chaque utilisateur n'a qu'une seule variante.
3
Ofir