Avez-vous besoin d'un ensemble d'utilisateurs différent pour tester différentes plates-formes d'un produit?
Je suis chargé de faire un test d'utilisabilité à partir d'un nouveau site Web de librairie sur mobile et sur ordinateur. En raison des ressources limitées, je dois être prudent dans le recrutement des participants pour obtenir le meilleur résultat.
Je dois donc être sûr: - Dois-je utiliser un ensemble d'utilisateurs différent (par exemple, 5 utilisateurs pour le site Web sur le bureau et 5 utilisateurs pour les mobiles) ou je peux utiliser le même ensemble d'utilisateurs (par exemple, 5 utilisateurs testent les deux plates-formes) - Quels sont les avantages et les inconvénients d'utiliser le même ensemble d'utilisateurs pour tester une plateforme différente d'un produit?
Avec seulement 5 à 10 utilisateurs au total, vous vous concentrerez sur l'analyse qualitative. L'échantillon sera trop petit pour effectuer toute sorte d'analyse quantitative significative.
Pour recueillir des commentaires qualitatifs, il est souvent utile de montrer 2 options différentes et de demander aux testeurs de comparer. Vous obtiendrez des commentaires plus approfondis et précieux. Cette approche est encore plus valable ici, car il ne s'agit pas de 2 conceptions alternatives pour le même appareil, mais pour 2 appareils différents. Vous pourrez évaluer la cohérence de l'interface utilisateur entre les plates-formes et le transfert de familiarité de l'une à l'autre. Je suggère de modifier la commande, en commençant par mobile puis par ordinateur de bureau pour le 1er groupe, et vice versa pour le 2e groupe (en supposant que vos utilisateurs peuvent commencer leur voyage avec l'un ou l'autre appareil).
Si vous vouliez faire une analyse quantitative avec un échantillon plus grand, il serait préférable d'avoir 2 groupes distincts, un pour chaque appareil/option (et d'affecter des testeurs au hasard à l'un ou l'autre groupe). Si les utilisateurs testent les deux appareils, vous devrez différencier les résultats des tests sur mobile vu en premier par rapport aux tests sur mobile en second, pour voir si la commande a eu un impact.
Je pense que vous pouvez considérer l'utilisateur comme différent dans un test différent, même s'il est physiquement la même personne. Leur rôle serait différent (desktop user et mobile user). Surtout si vos ressources sont limitées.
L'inconvénient d'utiliser les mêmes personnes pour les deux plates-formes est que pour la deuxième fois, elles ont déjà un aperçu de votre application, ce ne sont plus des nouveaux arrivants. Ils peuvent rechercher une chose similaire, tirée du test précédent.
Bien que, pour moi, cela puisse être considéré comme un avantage, vous pouvez donc voir comment un utilisateur peut être dirigé par une plate-forme après être passé à l'autre.
Les questions de test utilisateur qui impliquent des ressources limitées sont toujours délicates! Mais tout comme la recherche d'utilisateurs, vous devez avoir un objectif ou un résultat final à l'esprit afin que vous puissiez mieux planifier et construire votre plan de test pour tirer le meilleur parti de ces ressources limitées.
Voici quelques considérations qui pourraient vous aider à répondre à votre propre question:
Si vous vous concentrez sur la différence entre la vue bureau et mobile du site Web, il y aura moins de variables à considérer si vous utilisez le même participant pour les deux tests. Mais comme quelqu'un l'a souligné, il est possible d'obtenir un résultat biaisé si vous testez d'abord la vue de bureau sur tous les utilisateurs, puis la vue mobile. Donc, pour contrôler ce biais, vous pouvez affecter au hasard la moitié des personnes à la première vue mobile et le reste à la première vue du bureau.
Si vous vous concentrez sur la convivialité générale de la vue de bureau et mobile du site Web, je ne pense pas que vous ayez nécessairement besoin de tous les participants pour passer par la vue de bureau et mobile. Cela peut simplement prendre trop de temps (si vous avez beaucoup de fonctionnalités à tester) ou trop difficile à planifier dans de longues sessions pour tous les utilisateurs, ou tous les utilisateurs ne peuvent pas compléter la vue de bureau et mobile de la même manière. S'il y a des problèmes, alors il ne faudra qu'un petit nombre de participants pour les révéler (en général).
Si vous vous concentrez sur la fluidité de l'expérience dans les vues de bureau et mobiles du site Web, il est assez évident que vous devez demander à la même personne de faire les deux tests.
Si vous souhaitez comparer la convivialité entre les vues de bureau et mobiles du site Web et que vous avez un nombre suffisamment important, vous n'avez pas vraiment besoin de compter sur la même personne pour effectuer les deux tests. Si vous recherchez uniquement des problèmes d'utilisabilité critiques (et non des différences subtiles d'utilisation ou d'expérience utilisateur), il est également possible de faire la comparaison avec un nombre relativement restreint d'utilisateurs.
J'espère que cela vous donne beaucoup à penser dans la complexité des tests utilisateurs :)