Tests d'utilisabilité - est-il possible d'utiliser un protocole de réflexion à voix haute et de mesurer simultanément le temps écoulé?
Ma question est essentiellement la suivante:
- Lors de l'exécution d'un test d'utilisabilité et de l'utilisation du protocole Think-aloud , est-il possible de rassembler des métriques fiables pour par exemple taux d'achèvement (c.-à-d. combien de temps a-t-il fallu pour terminer la tâche donnée)?
- Existe-t-il des recherches d'utilisateurs sur la façon dont le protocole de réflexion à haute voix affecte potentiellement des mesures telles que, par exemple, taux d'achèvement (ou similaire)?
Oui, cela affecte les résultats et oui, il y a des recherches ;-)
Voir, par exemple Penser à haute voix en présence d'interruptions et de contraintes de temps
Il est intéressant de penser que la voix à haute voix ne peut pas toujours allonger les taux d'achèvement Voir Le rôle de l'instruction et de la verbalisation dans l'amélioration des performances sur les tâches de recherche complexes par exemple où:
"Si les gens recevaient à la fois des instructions verbales et l'obligation de justifier à haute voix chaque action, les performances étaient améliorées"
Les étudiants qui ont participé aux groupes TAPPS se sont vu attribuer un partenaire d'écoute et ont verbalisé leurs processus de réflexion. Ils ont réussi beaucoup plus (p <0,05) à dépanner les pannes du moteur que les élèves des groupes de contrôle travaillant seuls. Parmi les étudiants qui ont réussi les tâches de dépannage dans les deux groupes,
Les protocoles de réflexion à voix haute sont destinés à rendre explicite le processus de réflexion de l'utilisateur lors de l'exécution des tâches.
Il s'agit d'un écart clair par rapport à la façon dont les choses se déroulent dans des circonstances normales, car les utilisateurs tenteront de formaliser leurs pensées d'une manière intelligible pour eux et pour le testeur. Cela affectera finalement le temps nécessaire pour terminer les tâches.
À mon avis, un compte vrai et viable de la façon dont les utilisateurs accomplissent une tâche et du temps qu'ils passent à le faire doit être basé exclusivement sur l'observation. Cela permet aux utilisateurs de se comporter normalement et permet au testeur de se concentrer sur ce qui compte vraiment.
Malheureusement, je ne suis au courant d'aucune recherche effectuée dans ce domaine, mais je suggère d'utiliser le protocole de réflexion à voix haute lorsque vous devez effectuer des tests d'utilisabilité rapides.
De plus, si vous utilisez le protocole de réflexion à haute voix, essayez de détecter toute réaction spontanée, frustration, surprise, etc. et isolez-la des autres déclarations de l'utilisateur, car cela pourrait entraîner des changements substantiels dans la conception ou l'IA. J'espère que cela vous a été utile.
1 - Pourriez-vous diviser la session de test en deux sections? L'un s'est concentré sur l'achèvement de la tâche, l'autre plus exploratoire (pensez à haute voix).
Essayer d'enregistrer le temps de réalisation lorsque vous avez demandé à l'utilisateur de penser à haute voix pourrait potentiellement ajouter des variables de confusion dans le processus. Avec la petite taille de l'échantillon des tests utilisateur, vous voudriez vraiment minimiser ces effets.
2 - Je n'ai connaissance d'aucune recherche à ce sujet. Ma recommandation serait de les séparer si vous le pouvez. Personnellement, lorsque j'ai eu besoin de mesures quantitatives et de résultats rapides, j'ai présenté aux utilisateurs les deux versions de l'interface, la tâche et chronométré leur achèvement. Utiliser le même utilisateur pour les deux versions (dans la conception des participants), en veillant à alterner l'ordre dans lequel les versions sont présentées à chaque utilisateur.