UX à l'état sauvage vs UX observé
Récemment, j'ai eu la chance de m'asseoir juste à côté d'un utilisateur du train qui se trouvait utiliser l'une des applications que j'avais conçues. Sans leur révéler cela, j'ai réussi à observer comment ils utilisent l'application. Même s'ils ne pensaient pas à haute voix comme lors d'une session de test utilisateur, c'était très perspicace de voir comment ils l'utilisaient.
Ce qui pose la question, par rapport à la venue d'utilisateurs pour des sessions de "test utilisateur", leur comportement serait-il différent lorsque les utilisateurs savent qu'ils sont observés? Ou pire encore, quand une incitation est donnée. Si c'est le cas, est-ce que cela rendrait la recherche erronée?
Oui, il est connu sous le nom de Hawthorne Effect et c'est l'un des nombreux biais cognitifs à connaître lors de l'exécution de sessions de test d'utilisabilité.
De Wikipedia
L'effet Hawthorne (également appelé effet observateur) est un type de réactivité dans lequel les individus modifient un aspect de leur comportement en réponse à leur conscience d'être observés.
Cela rend-il la recherche erronée? Eh bien oui, en quelque sorte. Mais cela ne signifie pas que cela ne vaut pas la peine. Vous pouvez l'atténuer dans une certaine mesure - rendre les installations de test aussi naturelles et confortables que possible, ne pas rester là dans une blouse de laboratoire avec un presse-papiers, généralement amicaux et humains et pas comme une machine. Et (surtout) dire à l'utilisateur à l'avance que ce n'est pas lui que vous testez, c'est le système.
Mais le biais sera toujours là, vous devez en être conscient, essayez de tester avec plusieurs méthodes et utilisateurs et ne présumez pas après le test que la façon dont les gens se sont comportés pendant le test est exactement la façon dont ils se comporteront dans `` le monde réel '' .
Mais vous obtenez toujours des données de test utiles de personnes, même si elles savent qu'elles sont surveillées. Les gens essaieront encore plus de résoudre les problèmes en laboratoire qu'ils ne le feraient à la maison, donc s'ils ne savent pas comment se rendre à la caisse sur votre boutique de commerce électronique lorsque vous les testez en laboratoire, alors vous vraiment sachez que vous avez un problème - parce que les gens à la maison auraient renfloué depuis longtemps.
Comme l'indique la réponse de JonW, il y a l'effet Hawthorne.
Mais il y a certains comportements que vous pourrez voir dans un environnement naturel si vous adoptez l'approche de la recherche ethnographique plutôt que celle d'un utilisateur.
Les tests utilisateurs sont plus couramment effectués dans un environnement artificiel mis en place par les testeurs utilisateurs, certains avec différents niveaux de sensation naturelle pour l'utilisateur. La recherche ethnographique se fait uniquement sur le terrain, dans l'environnement de l'utilisateur. Cela peut soulever d'autres problèmes que les tests utilisateurs peuvent ne pas détecter.
Par exemple, si vous observez quelqu'un à son bureau, a-t-il des post-it avec des mots de passe, des guides, etc. sur la façon de faire les choses, c'est une indication que l'UX a besoin d'améliorations pour faciliter les choses. Les tests utilisateurs peuvent ne pas comprendre cela. Ainsi, alors que vous observiez l'utilisateur utiliser votre application dans le train, elle peut avoir présenté d'autres choses qui ne se seraient pas produites dans un laboratoire.
Je ne dirais pas que c'est imparfait, je le dirais fournit une perspective différente et quelques résultats et observations alternatifs que les tests utilisateurs dans un environnement de laboratoire peuvent ne pas mettre en évidence et vice versa.
Comme le soulignent les autres réponses, il y a un nom pour ce phénomène, et il est imparfait.
Mais même observer l'utilisateur sans qu'il le sache est également défectueux, simplement parce que vous ne savez pas ce qu'il pense. Ils pourraient détester une certaine fonctionnalité, mais l'accepter parce qu'ils n'ont pas le choix.
Le test/l'observation le plus parfait que vous pouvez obtenir est d'utiliser votre propre logiciel. Je ne veux pas simplement l'utiliser dans le cadre de votre travail de test du logiciel, mais j'ai vraiment besoin d'utiliser un tel logiciel comme le fait votre public cible.
C'est en fait le nombre de produits logiciels de haut niveau créés, par exemple Basecamp - ils utilisent probablement Basecamp pour gérer le développement de Basecamp. Gmail - les utilisateurs de Google utilisent probablement Gmail pour communiquer entre eux. React - les gens sur Facebook utilisent probablement React pour créer leur site Web).
D'un autre côté, un film Netflix aura des problèmes aléatoires si vous essayez de le regarder avec des sous-titres codés dans Chrome. C'est probablement parce que personne dans Netflix n'a jamais utilisé Chrome pour regarder un film Netflix avec des sous-titres codés.