Que faites-vous avec un test A / B non concluant? Conserver le changement ou le perdre?
version courte
Si vous exécutez un test A/B et qu'il en résulte qu'il n'y a aucune différence dans votre métrique clé, conservez-vous la version expérimentale ou rétablissez-vous le site sous contrôle?
Version de l'histoire
Votre client se précipite dans votre bureau.
"Je sais ce qui rendra cette page Web POP! Changez la photo du produit en un mec chamois tenant une bière, et mettez l'appel à l'action sur sa poitrine!"
"Umm ... Je ne pense pas que cela réponde vraiment aux besoins de vos utilisateurs, et cela ne correspond pas au thème du ..."
"Ma mère AIME les mecs chamois!"
"Umm ... ok, que diriez-vous de faire un test A/B et voir si cela fait une différence."
Vous exécutez donc le stupide test A/B et vous êtes quelque peu surpris de constater qu'il n'y a pas de différence. Serait-il plus logique de simplement implémenter la demande de changement, ou dire au client que cela n'a pas vraiment aidé?
En supposant que vous testez une modification d'un système existant , privilégiez le contrôle. C'est ce à quoi les gens sont habitués simplement parce qu'il est déjà en place. Si les tests ne sont pas concluants contre les utilisateurs qui ne connaissent pas votre site, au mieux le changement n'aidera pas, au pire, il confond brièvement les utilisateurs actuels.
Vous n'avez pas réussi à rejeter l'hypothèse nulle, restez fidèle à ce que vous avez.
Si c'est un test A/B d'une fonctionnalité inédite ... c'est un appel au jugement. Faites ce qui convient le mieux au site ou aux conventions standard. Puisque vous n'avez remarqué aucune différence, il est possible que les deux s'adaptent également.
Cependant, assurez-vous d'avoir exécuté un test approprié; si beaucoup de vos tests ne sont pas concluants, il est possible que vous testiez les mauvais changements (c'est trop peu pour être important) ou que vous ne testez pas correctement. Il est possible que la fonctionnalité que vous testez A/B n'ait pas beaucoup d'importance , et si c'est le cas, vous ne devriez pas faire l'effort supplémentaire en faisant le changement.
Je pense que vous devez faire attention au libellé ici, car "aucun changement" n'équivaut pas nécessairement à "non concluant". Par exemple, un résultat non concluant pourrait toujours montrer une augmentation dans une métrique, mais être inutilisable en raison d'autres facteurs (échantillonnage, sous-représentation, problèmes techniques, etc.). Cependant, ne pas voir de changement, comme cela a été mentionné précédemment, devrait favoriser le contrôle plutôt que d'introduire le changement, car ce nouvel élément pourrait influencer d'autres facteurs que votre test A/B n'est pas conçu pour capturer et donc vous avez besoin de plus de tests pour voir ce que le changement pourrait entraîner.
Je pense qu'il y a certains cas où l'application des changements peut être utile. Ceci est bien sûr très subjectif au changement. Il est idéal de deviner le résultat attendu et de planifier à l'avance ce qu'il faut faire. Si un changement donne des avantages supplémentaires que l'utilisateur ne remarquera pas, cela peut être une bonne chose à mettre en œuvre. Comme un changement qui réduira l'utilisation de la bande passante, réduira les frais pour l'entreprise, etc.