J'ai quelques dispositions significativement différentes que je veux tester, les tests A / B ou MVT sont-ils la meilleure approche?
J'ai lu que les tests A/B et MVT sont les meilleurs pour tester les changements à plus petite échelle (c'est-à-dire la couleur des boutons, la copie du titre, etc.), mais conviennent-ils également pour tester deux (ou plus) conceptions très différentes? Quelle est la meilleure pratique dans une telle situation?
Les tests AB sont parfaits pour une situation dans laquelle vous pouvez relier la différence de réponses à la chose qui est différente entre les deux versions.
Avec deux versions très différentes, vous ne pouvez évaluer qu'une réponse globale, mais pas attribuer une réponse meilleure ou pire à un détail particulier, ce qui rend plus difficile la mise en avant d'un argument raisonné pour la conception en cours. Vous ne savez pas quelles fonctionnalités doivent être conservées ou envisagez de supprimer ultérieurement, par exemple.
Vous devez donc vous demander:
- qu'est-ce que je compare avec quoi
- comment vais-je mesurer la réponse
- de combien de commentaires ai-je besoin pour que cela en vaille la peine
- comment puis-je relier ces mesures à la conception en question
- que vais-je faire quand j'aurai les résultats
- comment vais-je expliquer les résultats aux autres
Un bon exercice consiste à parcourir ce qui se passera si vos tests montrent que A est la version préférée - puis faire de même si B devait être préféré. Pensez également à ce qu'il n'y avait pas de préférence. Cela vous aidera à déterminer ce qui est important et peut-être à reconsidérer comment vos tests sont effectués