Conversion basée sur les clics ou les commandes
J'exécute des tests de fractionnement A/B à l'aide d'Instapage.
Mon dilemme est de savoir si l'utilisation de clics ou de commandes par rapport aux visiteurs devrait être mon taux de conversion.
C'est ce que j'avais jusqu'à présent
A: 556 visiteurs - 27 conversions (clics) - conversion de 4,85% B: 543 visiteurs - 15 conversions (clics) - conversion de 2,76%
Le test de signification ( http://getdatadriven.com/ab-significance-test ) montre que le test était significatif.
De toute évidence, tous les clics sur le bouton "acheter maintenant" ne sont pas convertis en commande. L'autre chose est que se passe-t-il si 100% des gens ont commandé à B mais seulement 5% à A? En regardant les clics que je ne connais pas.
Bien sûr, si je regarde mes statistiques, je peux deviner combien de commandes chaque variante a généré.
Mon CTR avant test était de 2,09% et mon taux de conversion (basé sur les commandes) était de 0,55%. Avec un peu de mathématiques, je peux alors "supposer" ce qui suit:
A: 556 visiteurs - 6 conversions (clics) - conversion de 1,07% B: 543 visiteurs - 3 conversions (clics) - conversion de 0,55%
Le test de signification indique cependant que le test n'était pas significatif, même si le rapport des conversions est à peu près le même (A convertissant 50% mieux que B).
Ainsi, l'utilisation de clics semble scientifiquement plus importante si le nombre de commandes est faible.
Dois-je refaire le test en fonction de la commande en tant que mesure de conversion? Dois-je utiliser des mesures de commande pour de futurs tests?
Vous devez avoir une hypothèse pour chaque test. Avec cela, vous aurez votre réponse.
Est-ce:
Changer XYZ augmentera clics de manière significative
ou est-ce
Changer XYZ augmentera revenus de manière significative.
Lorsque vous commencez à ajuster vos mesures de réussite en fonction de ce qui vous donne de meilleurs résultats, vous contredisez en premier lieu les avantages de l'exécution d'expériences statistiques.
Une autre façon de l'analyser est:
Si les revenus (ou les commandes) augmentent mais que l'engagement diminue beaucoup, voudrons-nous l'utiliser comme gagnant?
vs.
Si les clics et l'engagement augmentent énormément, mais que les revenus et les commandes diminuent, voudrons-nous l'utiliser comme notre gagnant?
Je parierais que presque toujours vos commandes et vos revenus sont bien plus importants que les clics. Mais cela dépendra également de où que vous testez et de la quantité de trafic dont vous disposez pour prendre en charge cette profondeur de test.