Quelles personnes choisir pour les tests A / B à grande échelle?
Quelles sont les meilleures pratiques pour décider quels utilisateurs admettre à un test A/B à grande échelle sur un site Web? Voici deux de mes préoccupations concernant ce processus de choix.
Aversion des utilisateurs vétérans au changement
Les humains sont des créatures d'habitude. Une fois que nous utilisons quelque chose depuis longtemps, nous devenons très efficaces et les routines prennent moins d'activité cérébrale. Le changement, que ce soit pour le meilleur ou pour le pire, se heurte à l'aversion. Lorsque nous tirons le tapis de dessous l'utilisateur, ils deviennent mal à l'aise de rompre avec leur habitude et d'apprendre le nouveau processus. Si nous collections des statistiques sur la réaction des utilisateurs vétérans à une nouvelle interface, ils nuiraient aux résultats parce que nous venons de mettre un nouvel obstacle étranger dans leur routine habituelle.
Un exemple personnel de mon aversion au changement a été lorsque j'ai été sélectionné pour les tests A/B sur la page de résultats du moteur de recherche de Google. Ils avaient supprimé les soulignements des titres des résultats. Je m'étais assis là à regarder la page pendant plusieurs secondes en me demandant ce qui venait de se passer. La façon dont j'ai analysé le SERP avait été ancrée dans mes yeux pendant 10 ans et maintenant cela a changé. J'ai été choqué par Shell. Je parie que moi, ainsi que d'autres dans ce test A/B, entaché les résultats de Google avec notre temps de réaction médiocre.
Vraisemblablement, le test A/B ne devrait être effectué que sur de nouveaux utilisateurs pour éviter l'aversion de la nature humaine au changement. Mais comment détecter qui est vieux et qui est nouveau sur un site Web? Un utilisateur aurait pu effacer ses cookies, il apparaît donc comme un nouvel utilisateur, mais en réalité, il pourrait utiliser votre site depuis 2 ans.
Voir constamment la même version
Un utilisateur particulier ne devrait-il voir qu'une seule version de la nouvelle interface? Par exemple, une fois qu'elle a vu la version F, elle doit continuer à voir la version F jusqu'à ce que le test A/B soit terminé. Ma théorie est que les utilisateurs surchargés avec trop de versions seront confus et terniront les résultats.
Techniquement, comment pouvez-vous fournir la même version encore et encore au même utilisateur? Une solution faible consiste à stocker un cookie sur le navigateur de l'utilisateur qui indique à quelle version il a été attribué au hasard pour la première fois. Mais les cookies ne voyagent pas sur les ordinateurs. Par exemple, je recevais le nouveau Google SERP à la maison et l'ancienne version au travail. Je devais m'adapter aux différentes versions en revenant du travail à la maison et vice versa. Nous ne pouvons pas non plus résoudre ce problème en associant une version à un compte, car les utilisateurs ne sont pas garantis pour être connectés à tout moment.
Vous ne devez pas surprendre les visiteurs réguliers. Montrez la même variante aux visiteurs récurrents. Le problème est, comme vous le signalez, de savoir si l'utilisateur a déjà visité le site.
- L'utilisation de cookies est une solution. Comme il s'agit du côté client, cela ne fonctionnera pas pour le même utilisateur à partir de différentes machines, et l'utilisateur peut avoir supprimé ses cookies.
- Journalisation IP côté serveur. Vous pouvez enregistrer l'adresse IP des visiteurs et stocker ces informations côté serveur. De cette façon, vous ne seriez pas vulnérable à la suppression des cookies, mais le même utilisateur sur différents ordinateurs posera toujours un problème. Un autre problème avec cette solution est que plusieurs utilisateurs pourraient partager la même IP, et ceux-ci recevront la même version du site.
- S'identifier. Si les utilisateurs peuvent s'inscrire/se connecter au site, c'est évidemment la meilleure solution pour fournir au même utilisateur la même version, même à partir d'ordinateurs différents.
AFAIK, il n'est pas possible d'identifier l'utilisateur sur différents ordinateurs sans aucune forme de fonction de connexion.
BTW,
Vous devriez également jeter un œil à cette expérience intéressante (et cet article ).
Le but de ce site est d'identifier le navigateur le plus uniquement possible. En tenant compte de nombreux facteurs, on peut identifier une "empreinte" assez unique pour chaque navigateur. Si vous supposez que chaque utilisateur a presque la même configuration sur différentes macines, vous pouvez sélectionner certains facteurs critiques pour déterminer la variante à montrer aux visiteurs. Si le même utilisateur bascule entre IE et FireFox, il peut s'attendre à des variations de l'apparence.