Quelle version d'A / B dois-je montrer s'il vous arrive d'obtenir des versions différentes dans deux cas?
Disons que je fais des tests A/B, et cet utilisateur particulier est assigné au hasard dans le groupe B par exemple. J'ai tout de suite le choix de le stocker sur leur compte dans ma base de données ou sur leur navigateur. Demain, cette même personne visite le site Web à partir d'un autre appareil, obtient le groupe A au hasard et voit la version A du site Web. Et puis, à partir de ce nouvel appareil où ils regardaient la version A jusqu'à présent, ils se connectent maintenant à leur compte.
Serait-il correct de charger maintenant tout B, qui a potentiellement été stocké sur leur compte?
Ou serait-il correct de maintenir la visite en cours et de continuer à afficher A dans ce navigateur local?
Ou, allez si loin avec la persistance de la nouvelle visite pour stocker réellement cette nouvelle version A sur leur compte pour tout rendu de page supplémentaire à partir de leur premier appareil.
Tout cela en supposant que les différentes versions du site diffèrent visuellement et de manière significative, donc, ce que l'utilisateur attend est donc très important.
Habituellement, les tests A/B impliquent de comparer les comportements des utilisateurs exposés à A avec les comportements des utilisateurs exposés à B.
Idéalement, par conséquent, chaque utilisateur unique devrait être exposé à A ou B, pas aux deux. (À moins bien sûr que vous ne vouliez tester ce qui se passe lorsqu'un utilisateur est exposé aux deux.)
Je préfère commencer à examiner les problèmes du type "Les utilisateurs peuvent-ils obtenir ce site Web sans support/appareil?" La réponse est No car ils ont besoin de supports avant d'atteindre les utilisateurs. Mais si le paramètre que vous essayez de mesurer est indépendant de la plateforme, ma réponse change.
Outre la raison de ces tests, ils devraient être dans le même milieu. Pour dire, tester A dans un environnement iOS et tester B dans un appareil Android, ne donne pas nécessairement le résultat exact avec les résultats du test lorsque ces tests sont appliqués séparément à ces plates-formes.
Ma réponse est que si le problème est cadré en fonction de l'appareil avant d'atteindre ses utilisateurs ciblés, il doit être appliqué en fonction de l'appareil plutôt que des personnes. Mais si vous voulez quand même mesurer les personnes, il serait plus précis de tester la plate-forme indépendant.
Cela signifie qu'un profil peut avoir des tonnes d'appareils, vous pouvez donc mesurer toutes ces plates-formes plutôt que le profil de l'utilisateur en insistant sur différents cas de test sur différents appareils.
Cependant, si vous exécutez un test A/B qui n'est pas nécessairement axé sur la plate-forme et se concentre sur la mesure des profils utilisateur, vous feriez mieux de mesurer le compte en sens inverse et de modifier les paramètres actuels sur le premier support de test touché de l'utilisateur, afin pour conserver des statistiques précises.