Dois-je faire confiance aux tests utilisateur en dehors d'un environnement contrôlé
Récemment, nous avons commencé à faire des tests utilisateurs pour un nouveau site Web que nous lançons. Au début, mon patron était contre les tests utilisateurs pour des "raisons" *.
Après avoir effectué les premiers tests, nous avons déjà identifié quelques points douloureux. La résolution de ces points douloureux a rendu le produit bien meilleur. Mon patron avait maintenant une vue renouvelée sur les tests utilisateurs et voulait le tester sur plus d'utilisateurs ** (principalement ses voisins/amis, etc.), alors j'ai préparé un ensemble de tâches pour les utilisateurs que j'utiliserais dans notre environnement contrôlé et il pourrait tester des tâches sur des utilisateurs qu'il connaissait.
Mon problème actuel
Les tests effectués dans notre environnement contrôlé reflètent presque les résultats opposés de ses propres tests utilisateur. Je sais qu'il peut être un peu saillant, alors cela m'a amené à me demander: devrais-je faire confiance aux tests utilisateur qui sont effectués en dehors d'un environnement contrôlé?
* Pour des raisons que je veux dire, celle que la plupart des gens utilisent est que "je comprends mieux le groupe cible que le groupe cible se comprend, etc."
** Oui, ces utilisateurs appartiennent au groupe cible, notre groupe cible est extrêmement large. Fondamentalement, toute personne de 18 à 50 ans.
Oui Non
Les deux options ci-dessus peuvent être vraies en fonction de nombreux facteurs.
Voir, effectuer des tests non modérés n'est pas rare du tout, en fait, c'est assez courant (voir cet article pour comprendre les différences entre les tests non modérés et modérés).
Cependant, tous les tests ne sont pas identiques, toutes les réponses que vous recherchez ne peuvent pas être obtenues avec les mêmes tests, pas toujours le "test correct" est correct . Ensuite, vous avez environnement ( contrôlé ou non contrôlé, distant ou local, utilisateur dans son environnement vs utilisateur à votre bureau et ainsi de suite), compétences et connaissances de l'intervieweur, temps, budget, atouts .... eh bien, un large éventail de variables qui auront une influence sur vos tests.
Tout ce qui précède est lié à la méthodologie de recherche . Le problème est que beaucoup de gens pensent que les méthodes (ou techniques) de recherche et la méthodologie de recherche sont identiques. Pour être clair:
Les méthodes de recherche sont les différentes procédures, schémas et algorithmes utilisés dans la recherche. Toutes les méthodes utilisées par un chercheur au cours d'une étude de recherche sont appelées méthodes de recherche. Ils sont essentiellement planifiés, scientifiques et neutres en valeur. Les méthodes de recherche nous aident à collecter des échantillons, des données et à trouver une solution à un problème.
La méthodologie de recherche est un moyen systématique de résoudre un problème. C'est une science d'étudier comment la recherche doit être menée. Essentiellement, les procédures par lesquelles les chercheurs effectuent leur travail de description, d'explication et de prévision des phénomènes sont appelées méthodologie de recherche . Elle est également définie comme l'étude des méthodes permettant d'acquérir des connaissances. Son objectif est de donner le plan de travail de la recherche.
( définitions de article sur la méthodologie de la recherche)
Comme vous pouvez le voir ... similaire mais pas le même. Et j'ai appris cela à la dure: je me considère comme une personne très compétente en matière de tests et de recherche. Après tout, j'ai étudié les différents tests disponibles, comment effectuer les tests, comment filtrer les participants ... eh bien, j'en savais assez pour être pleinement qualifié. Maintenant, ma femme/partenaire est un docteur en psychologie, professeur de méthodes et techniques de recherche scientifique et globalement spécialisé dans la recherche sur le comportement humain. À ce moment-là, elle n'a pas travaillé avec moi. Les années ont passé et j'ai remarqué que mes compétences en recherche étaient excellentes, mais parfois j'ai eu des résultats qui se sont révélés faux lorsqu'ils ont été testés dans le monde réel. Je lui ai demandé de l'aide et après un examen attentif, elle m'a dit: "OK, vous en savez beaucoup sur les méthodes, beaucoup plus que moi. Vous ne savez tout simplement pas grand-chose sur la méthodologie, donc vos résultats ne sont pas très fiables" (note: cela était particulièrement vrai avec Méthodes qualitatives )
Bref, revenons à votre réponse
Tout est possible, mais pour ce que vous décrivez, les résultats de votre manager ne sont probablement pas fiables. Le fait qu'il connaisse les personnes interrogées rend probablement le résultat du test invalide (pas nécessairement, mais très probablement). Selon le type de test, je vous suggère de le faire dans votre bureau ou peut-être certains test de guérilla
@ La réponse de Devin est très précieuse, assurez-vous de comprendre son point sur la différence entre les méthodes et la méthodologie, je voudrais ajouter:
Juste pour ranger celui-ci en premier
Bien que cela aurait résolu l'énigme plus rapidement, je préférerais éviter de tomber dans mon heuristique de réflexion rapide qui dit ** le patron typique qui ne sait rien et décide de tout ** donc je voudrais commencer par dire que je suppose ici que votre patron est qualifié pour effectuer et modérer le test, si cela ne s'applique pas, je compterais certainement plus sur la version non modérée, ou dans un langage statistique si vous préférez, je compterais beaucoup plus sur un échantillon aléatoire non contrôlé que sur un biais échantillon stratifié, maintenant la réponse:
Vous voudrez peut-être envisager de fusionner les résultats
Les tests des utilisateurs produisent des résultats différents, alors qu'au départ le but principal est d'évaluer l'utilisabilité de nos produits, ils apportent souvent des informations différentes sur la table, variant des besoins des utilisateurs, des informations sur le marché et parfois même de la façon dont la proposition de valeur est perçue seule, c'est très important de pouvoir faire la distinction entre les résultats d'utilisation et les autres résultats.
Le problème avec de larges groupes cibles est l'incohérence dans les résultats, de sorte que la différence entre les résultats pourrait être due à la présence réelle d'utilisateurs différents ou à l'environnement différent du test.
Dans l'article du Nielsen Norman Group https://www.nngroup.com/articles/how-many-test-users/
Combien d'utilisateurs de test dans une étude d'utilisabilité?
La réponse est 5, sauf quand ce n'est pas le cas. La plupart des arguments pour utiliser plus de participants aux tests sont erronés, mais certains tests devraient être plus grands et d'autres plus petits.
À ma connaissance, la réponse ci-dessus est plus pertinente pour l'aspect de l'utilisabilité de l'étude, ce qui signifie du point de vue de l'utilisabilité que les résultats sont représentatifs en utilisant 5 utilisateurs, mais ne signifie pas que les autres informations doivent également être représentatives, par exemple si un utilisateur dit "je n'achèterais pas ce produit pour ce montant" ne signifie pas nécessairement que le marché ne l'achètera pas, bien que cela puisse suggérer que la proposition de valeur doit une meilleure vérification.
Donc, si nous convenons que nous devons faire la différence entre les types de constatations contradictoires que vous êtes arrivés, et que nous parlons de constatations qui reflètent spécifiquement des problèmes d'utilisabilité, il devrait être prudent de les fusionner et de traiter l'ensemble des découvertes plutôt que d'avoir à choisir entre Test A ou Test B.
Usability issue 1 Usability issue 2 Usability issue 3
Test A: Exists Does not Exist Exists
Test B: Does not exist Exists Exists
De cette façon, vous pouvez affirmer que votre solution est plus complète.
Un dernier commentaire, il s'agit d'une manière managériale de gérer les choses, certains pourraient être en désaccord avec l'approche, mais c'est à vous de décider. Je devais apporter des projecteurs sur les différents types de résultats dans votre réflexion lors de votre prochain mouvement, bonne chance.
Oui, vous pouvez faire confiance aux résultats des tests d'utilisabilité effectués en dehors de votre environnement contrôlé. (Je suppose que vous voulez dire votre laboratoire interne.) Découvrez Guerrilla Testing , qui se fait dans l'environnement naturel de l'utilisateur. (Juste pour les coups de pied, voir aussi Drunk User Testing .)
Cependant, je pense que votre vraie question est de savoir si vous pouvez faire confiance aux tests d'utilisabilité effectués par votre patron ou d'autres qui ne comprennent pas à quel point il est facile de fausser les résultats. Et non, vous ne pouvez pas faire confiance à ces résultats. Il est trop facile de poser des questions directrices, de donner trop d'aide, de donner des conseils à l'utilisateur, de biaiser ses attitudes, etc.