Quelles mesures pratiques puis-je prendre pour réduire les biais dans les tests d'utilisabilité?
Je suis extrêmement sensible aux biais dans les tests d'utilisabilité. Par exemple, je suis conscient que le biais de sélection des tâches est un problème, alors j'essaie de garder les tests plus ouverts/lâches et de laisser les participants explorer.
Je sais qu'il existe plusieurs autres types de biais, comme indiqué ici: http://www.measuringu.com/blog/ut-bias.php
Quelles mesures pratiques avez-vous prises pour réduire les biais dans les tests d'utilisabilité?
Mis à part ce qui est sur cette liste, lorsque je réalise des tests d'utilisabilité, je:
- Essayez de vous assurer que je donne instructions identiques pour chaque participant.
Lorsque les gens font des tests à distance, il est plus facile de le faire car vous pouvez fournir des instructions écrites. En personne, cependant, j'essaie de redoubler d'efforts pour éviter de "sortir du scénario" et potentiellement conduire quelqu'un vers des réponses que je pourrais souhaiter.
- J'évite également de m'indiquer moi-même ou mon service dans le produit, pour éviter de donner à la personne interrogée l'impression de m'offenser en donnant des commentaires honnêtes.
Sinon, j'essaie également de mener des tests d'une manière qui évite les problèmes de la liste: j'évite de prendre des notes (tout enregistrer), j'évite de demander des tâches spécifiques, ou si je demande une tâche spécifique, j'en donne une gamme .
"Tout le monde est une scène, et tous les hommes et les femmes ne sont que des joueurs"
J'ai effectué des tests d'utilisabilité dans un certain nombre d'environnements contrôlés et non contrôlés et je pense sincèrement qu'il n'y a pas de solution miracle pour faire face aux biais, mais vous devez prendre des précautions et considérer l'impact sur les résultats des tests.
Erving Goffman qui était un sociologue très influent a écrit un livre dans les années 60 intitulé The Presentation of Self in Everyday Life dans lequel il décrit les performances théâtrales qui ont lieu dans les interactions face à face. Désolé pour la longue citation mais elle est tellement pertinente:
Lorsqu'un individu entre en contact avec une autre personne, il essaie de contrôler ou de guider l'impression que l'autre personne se formera de lui, en modifiant son propre cadre, son apparence et ses manières. En même temps, la personne avec laquelle l'individu interagit tente de se faire une idée de l'individu et d'obtenir des informations sur lui… les participants aux interactions sociales s'engagent dans certaines pratiques pour éviter de se mettre dans l'embarras ou de gêner les autres. La société n'est pas homogène; nous devons agir différemment dans différents contextes. Cette reconnaissance a conduit Goffman à son analyse dramaturgique. Il a vu un lien entre les types d '"actes" que les gens mettent dans leur vie quotidienne et les représentations théâtrales. Dans une interaction sociale, comme dans une représentation théâtrale, il y a une zone sur scène où des acteurs (individus) apparaissent devant le public; c'est là que les concepts de soi positifs et les impressions souhaitées sont offerts. Mais il y a aussi un backstage - un espace caché et privé où les individus peuvent être eux-mêmes et abandonner leurs rôles et identités sociétaux.
Prendre des précautions pour minimiser les performances sur scène:
Chaque situation de test est unique et dépend de la personne avec laquelle vous testez, mais en règle générale, vous devez tenir compte des situations qui sont plus susceptibles d'avoir un impact sur les "performances sur scène", par exemple en:
Préparer les participants au test et les rassurer: Cela vous permet d'informer et de rassurer les participants au test que la session de test d'utilisabilité n'est pas destinée à tester leurs capacités mais plutôt le produit performance (devrait faire partie d'un protocole de test formel qui a également un accord de confidentialité).
Configuration de l'environnement de test d'utilisabilité: Cela vous permet d'évaluer l'environnement de test et de décider de la disposition optimale pour que les tests aient lieu. vous devriez être en mesure d'observer clairement ce qui se passe tout en vous relaxant progressivement afin que les utilisateurs ne se concentrent pas trop sur le fait qu'ils soient observés.
Analyse et focalisation sur le "backstage":
Comme les résultats sont liés à des problèmes sur scène, vous devez en tenir compte pour vous-même et pour les participants aux tests. Pour ce faire, je remets constamment en question les actions des utilisateurs à chaque point d'action. Cela se traduit par deux listes, d'abord: est "pourquoi l'utilisateur fait cela" et ensuite: "parce que" ensuite je liste tous les déclencheurs possibles avec des explications jusqu'à ce que j'aie épuisé toutes les possibilités, ce qui devrait en principe me permettre de repérer toute performance sur scène tout en zoomant sur les trucs Backstage :)
Biais de test d'utilisation à distance
Celui-ci est un peu délicat, je pense que vous avez peut-être raison de soupçonner un biais d'une certaine forme, mais vous pouvez atténuer cela en vérifiant et en révisant le processus de recrutement, les données démographiques, le type de récompense, si les utilisateurs ont participé à de nombreuses sessions de tests à distance avant ou non! mon dernier point, ils deviennent des professionnels et donc pas adaptés pour le travail :)
J'ai rencontré un problème avec la méta-programmation lors d'un des premiers tests que j'ai faits.
Je posais la question suivante:
Un formulaire sur une page Web doit avoir un moyen d'effacer ou de soumettre les données - traditionnellement, cela est géré avec deux boutons. L'un dit "Annuler" et l'autre dit "Soumettre". Des deux boutons, l'un est à gauche et l'autre à droite. Lequel est le bouton "Annuler"?
J'avais essayé de sélectionner des candidats qui n'avaient pas d'expérience avec les ordinateurs ou les téléphones intelligents afin d'obtenir une vue indépendante de la plate-forme. Les résultats semblent favoriser la mise à gauche du bouton d'annulation.
Ensuite, j'ai revérifié les résultats et j'ai soudain remarqué la façon dont la question était formulée. Le mot "un" apparaît trois fois et est utilisé deux fois en liaison avec le bouton "Annuler", le concept d'annulation est référencé quatre fois mais le concept de soumission n'est référencé que deux fois et l'ordre de mention des deux processus est constant: "Effacer"/"soumettre" et "annuler"/"soumettre".
Quelques jours plus tard, je suis reparti tester mais cette fois avec la question suivante:
Un formulaire sur une page Web doit avoir un moyen d'effacer les données - traditionnellement, cela est géré avec deux boutons. Quel est le bouton "Annuler"?
Le résultat a été beaucoup plus équilibré. - La première question avait conduit les candidats mais la seconde a mis le choix davantage entre leurs mains.
Un problème qui se pose lors des tests est de savoir comment ne pas donner la réponse tout en posant une question:
Par exemple - Il y a un bouton sur lequel les utilisateurs sont censés appuyer pour exécuter la prochaine partie du processus. Pour une raison quelconque, ils ne comprennent pas cela et s'en vont avec plaisir et cliquent sur d'autres boutons de la page. Donc, en tant que testeur, vous devez savoir pourquoi ils ne cliquent pas dessus. Si vous dites "pourquoi ne cliquez-vous pas sur le" bouton ", vous leur avez dit que c'est ce qu'ils sont censés faire (et ils diront la plupart du temps qu'ils ne savent pas)
... Donc, vraiment, ce que vous devez faire est de penser à un moyen de leur donner un indice qu'ils ne le font pas correctement, mais laissez-les toujours résoudre le problème afin que vous puissiez comprendre à partir de la pensée à voix haute comment ils résolvent réellement il.
Et vous devez le faire en direct car vous ne savez jamais quand ce genre de chose va se produire.