Comment les logiciels d'entreprise valident-ils les tests A / B?
Je viens de commencer à travailler pour une société de logiciels d'entreprise et j'ai du mal à intégrer la validation pour voir "ce qui fonctionne" pour l'utilisateur.
J'ai l'habitude de travailler pour davantage de logiciels grand public et ils ne sont pas "obligés" d'utiliser le logiciel. Cependant, comment la validez-vous lorsque vos utilisateurs sont obligés de l'utiliser?
Par exemple, disons que j'ai 2 jeux de boutons d'outils pour le test A/B. Un avec juste des icônes, un avec juste des mots. Comment puis-je valider ce qui est le meilleur? Dans une solution b-to-c, vous pouvez souvent dire par quelle fréquence les boutons sont cliqués, combien de temps ils restent avec le logiciel, combien ils utilisent le logiciel - mais qu'en est-il d'une solution d'entreprise lorsque les utilisateurs sont obligés de utiliser le logiciel? Comment concevez-vous la validation dans cette situation?
(la plupart) Les outils de test Enterprise A/B vous donneront margin of error calcul en fonction de votre indice de confiance souhaité.
Qu'est-ce que cela signifie (en supposant que vous vouliez une confiance de 90%)
<confidence %>du moment où mon taux de conversion tombera dans+/-<margin of error>de<conversion rate>90% du temps, mon taux de conversion sera de +/- 10% d'un taux de conversion de 5%. Ce qui signifie que 10% du temps, mon taux de conversion sera inférieur à 4,5% et supérieur à 5,5%
Il existe de nombreux articles qui expliquent cela:
Je mentionnerai également que plus vous exécutez votre test (2 mois, 6 mois, etc.), plus vos données convergeront. Tout comme plus vous lancez une pièce, plus vous vous rapprochez , vous atteindrez 50/50 mais ne deviendrez jamais proche. C'est la raison des durées de test plus longues, et la raison pour laquelle l'exécution de tests A/A est une idée intelligente de temps en temps.
Test en contexte
Tout d'abord, je comprends votre explication de la différence entre avoir le choix d'utiliser un logiciel et ne pas avoir le choix, mais je ne vois pas vraiment comment cela va affecter vos tests. Un utilisateur utilise l'application pour effectuer une tâche, ou ils ne le font pas, et vous ne pouvez pas vraiment contrôler pour toutes les raisons pour lesquelles ils ne l'utilisent pas. Bien sûr, dans un système "libre de choix", votre conception devrait être aussi "bonne" que votre meilleur concurrent (benchmarking), mais cela ne devrait pas entraver les tests Option A vs Option B dans votre application.
Objectifs significatifs - effet potentiel
Si les options que vous testez n'ont aucun effet potentiel sur les performances, alors vous parlez d'esthétique. S'il y a un effet potentiel (par exemple, augmentera/diminuera le temps jusqu'à la fin de la tâche, le nombre de clics requis), alors vous avez la base d'un objectif significatif.
Avec beaucoup d'utilisateurs
Test A/B, mesurez le succès dans le contexte de votre objectif (actions temporelles/nombre de clics), analyse statistique des différences significatives .
Avec quelques utilisateurs
L'utilisateur teste au moins 5 utilisateurs, identifie ou non les problèmes majeurs.
Si vous avez une mesure des performances que vous pouvez recueillir, de l'utilisation du logiciel pour effectuer une tâche définie, vous pouvez configurer une expérience et analyser les résultats avec un "t-test". (certains détails peuvent être trouvés ici .
Je suppose que par logiciel d'entreprise, vous voulez dire un logiciel déployé sur site et non accessible par le cloud.
Dans les cas où vous ne pouvez pas effectuer de test A/B avec un public en direct, vous pouvez utiliser un test de choix pour déterminer l'icône favorable. Le test de choix est comme un simple test A/B mais vous pouvez l'utiliser avec votre propre équipe ou recruter des utilisateurs dans l'entreprise dans laquelle votre logiciel est déployé.
En parlant simplement, imprimez les deux boutons et montrez-les à quelques personnes. Ce serait un test rudimentaire, mais vous donnera certains une idée de son fonctionnement ou non.
Pour obtenir plus d'idées de test, vous pouvez observer des personnes utiliser votre logiciel (là où il est déployé), puis formuler une hypothèse de test d'idées.