Conseils pour les tests A / B?
Il semble qu'un nombre croissant de services de test A/B (tels que Google Website Optimiser ) et les personnes qui les utilisent. Avez-vous des conseils sur leur utilisation et leur analyse?
Philippe
Re: Analyser les résultats. Jetez un œil aux Statistiques faciles pour les tests AdWords A/B et les hamsters de Jason Cohen .
C'est l'un des meilleurs articles que j'ai jamais lu sur la compréhension de la pertinence statistique des résultats d'un test A/B. De plus (et c'est un gros plus pour moi) c'est amusant à lire.
Le message principal:
La façon dont vous déterminez si un test A/B montre une différence statistiquement significative est la suivante:
Définissez N comme "le nombre d'essais". - (Cliquez sur les résultats pour la variante A + la variante B)
Définissez D comme "la moitié de la différence entre le" gagnant "et le" perdant "."
Le résultat du test est statistiquement significatif si D2 est plus grand que N.
Une explication complète est fournie dans l'article.
Bonne chance,
Mat
Il y a un article vraiment sympa de Cennydd Bowles que vous trouverez probablement utile Signification statistique et autres pièges des tests A/B
J'ai été impliqué avec Website Optimizer et Omniture, Marketo ainsi que certains outils de test A/B maison. Ma principale conclusion est la suivante: Garbage In - Garbage Out .
La question clé est "Que testez-vous? QUI décide?" Est-ce juste "Essayons de battre le contrôle" ou est-ce "Permet de connaître notre public." Ce dernier est beaucoup plus important. Vous devez vous poser les questions POURQUOI, pas seulement le QUI.
Chez Intuit, par exemple, ils ont testé toutes sortes de conceptions terribles par comité et n'ont jamais vraiment bougé l'aiguille. Ils n'ont également jamais appris pourquoi une chose était meilleure qu'une autre.
L'expérience utilisateur doit viser à entrer dans la tête des gens. Il ne suffit pas de jeter des pixels au hasard et d'espérer que ce soit mieux que le dernier effort.
Désolé, j'ai peut-être volé hors sujet. J'ai vu les tests AB tourner de plusieurs façons. Et ne me lancez pas sur les tests multivariés (DOE).
Dernière pensée: le blog d'Avinash Kaushik et livres sont géniaux pour en savoir plus sur l'analyse. Il est une superstar dans le domaine.
Vous pourriez trouver Smashing Magazine's The Ultimate Guide To A/B Testing une ressource de test A/B utile:
Il comprend une section sur les outils de test A/B , ainsi que les éléments suivants:
- Qu'est-ce que le test A/B?
- Que tester?
- Créez votre premier test A/B
- À faire et à ne pas faire
- Études de cas de tests A/B classiques
- Ressources pour la plongée en profondeur dans les tests A/B
Il y a un très bon article de Jon Von Tividar sur http://www.futurenowinc.com/resources/abtesting.pdf
Un bon point sur l'évitement des faux maxima - je suis avec Glen et je pense que vous ne pouvez atteindre les sommets qu'en appliquant d'abord une multitude de techniques - puis Tweak en utilisant des tests A/B ou multivariés. Dans la conception Web, vous avez au moins besoin d'un "créateur intelligent" et ne pouvez pas le laisser évoluer en testant naturellement la sélection naturelle.
[NB: Je suis également étonné de voir combien de fois je vois des gens réclamer des résultats sans aucune compréhension absolue des statistiques et de la signification même de base - et ne me lancez pas sur le marketing pour faire des tests de concept créatifs ...]
Jon