Envoi d'une nouvelle conception du site aux utilisateurs: cela entache-t-il les données de test A / B?
La société pour laquelle je travaille (un site de résumé des transactions) a repensé l'apparence de nos vignettes d'informations sur les transactions. (Changer la disposition de la façon dont l'image, le prix et les autres informations de l'article sont organisés.) Nous allons tester A/B pour voir si le nouveau design est plus attrayant pour nos utilisateurs ... cependant, il y a un débat quant à si nous devons ou non envoyer un message à nos utilisateurs sur ce changement, avant qu'ils ne le voient. Les personnes anti-messagerie craignent que l'amorçage d'un public avant un tel changement produise des données de test corrompues. Tout le reste que j'ai lu en ligne jusqu'à présent dit qu'il est dangereux de ne pas amorcer un public avant un changement d'interface utilisateur.
Donc, ma question est la suivante: La messagerie d'une interface utilisateur change-t-elle avant qu'elle ne soit implémentée de manière quelconque les résultats d'un test A/B? Existe-t-il des avantages à apporter un changement d'interface utilisateur surprise aux utilisateurs?
Merci d'avance pour toute aide ou conseil. Je suis un nouveau chercheur UX et je suis heureux d'avoir trouvé votre communauté, car j'aurai besoin de toute l'aide que je peux obtenir!
Je pense que vous confondez la méthodologie. Les tests A/B sont exécutés en même temps, donc si vous remplacez simplement un site par une version complètement nouvelle du site, cela n'a pas d'importance si vous le faites savoir ou non, les échantillons fourniront d'autres types de résultats.
Pendant la recherche, vous aurez toujours besoin d'un "échantillon aussi propre que possible, non contaminé", donc cela seul poserait votre question, l'important est que vous ne feriez pas un Test A/B , donc aucune règle A/B ne doit être considérée.
Juste pour référence, et parce que cela vous aidera si vous débutez en A/B, lisez Guide du débutant pour les tests A/B: une introduction et plus précisément cette partie:
Les tests doivent être exécutés simultanément pour tenir compte de toute variation dans le calendrier. Vous ne pouvez pas tester une variante aujourd'hui et l'autre demain, car vous ne pouvez pas prendre en compte les variables qui pourraient avoir changé entre aujourd'hui et demain. Au lieu de cela, vous devez diviser le trafic en voyant vos variations en même temps.
De plus, vous avez peut-être remarqué ici et là à quel point les grands sites affichent de petites variations au hasard: si vous voyez cela, ils effectuent des tests A/B. Et mentionner cela à cause d'une chose très importante que vous devrez considérer: A/B est pour de petits changements, pas de refonte complète