Comment mesurer le taux de réussite?
Je lis ce livre: Tullis, Thomas, and William Albert. Measuring the user experience: collecting, analyzing, and presenting usability metrics. Morgan Kaufmann, 2010.
Dans ce livre, 5 mesures de convivialité sont définies, dont l'une est le taux de réussite. Je veux savoir comment mesurer le taux de réussite? Est-ce que cela équivaut à un attribut d'utilisabilité ou à une métrique d'utilisation est quelque chose de différent?!
Un taux de réussite est l'une des nombreuses mesures utilisées pour mesurer/quantifier l'utilisabilité. Comme http://www.measuringusability.com/blog/essential-metrics.php décrit, si une tâche ne peut pas être terminée, le produit n'est pas utilisable. "Si les utilisateurs ne peuvent pas atteindre leurs objectifs, il n'y a pas grand-chose d'autre qui compte."
Les méthodes utilisées pour déterminer le taux de réussite varieront considérablement selon:
- Quelle est la tâche exécutée?
- Comment la tâche est-elle accomplie?
Quelques exemples de tâches et comment mesurer leurs taux de réussite:
Recherche
- Un utilisateur va sur searchengine.com
- Ils recherchent "pizza"
- L'utilisateur clique sur le premier résultat Web
Taux de réussite: Ce serait considéré comme un succès car l'utilisateur a trouvé et accédé à un résultat Web.
- L'utilisateur recherche "2 + 2"
- La réponse "4" est donnée immédiatement
- L'utilisateur ne clique pas sur un résultat, mais sa tâche s'est terminée avec succès
Taux de réussite: Détecter un succès comme celui-ci est plus difficile, mais peut être détecté par des choses telles que savoir qu'une requête similaire n'a pas été effectuée directement après (ce indiquerait que la réponse n'a pas été trouvée, de sorte que l'utilisateur demande la même chose d'une manière différente pour tenter de trouver la réponse).
Dessiner
- L'utilisateur se rend sur un site de dessin
- L'utilisateur clique sur "dessiner" et est présenté avec une toile
- Le contenu est ajouté à la toile et le dessin est soumis
Taux de réussite: Si l'utilisateur démarre la tâche de dessin, mais ne la soumet pas, cela ne réussit pas. Une soumission réussie de contenu augmenterait le taux de réussite dans ce cas.
Points à garder à l'esprit:
- Selon la tâche, le succès ou l'achèvement peut être déterminé de de plusieurs façons
- Déterminez d'abord quelle est exactement la tâche
- Ensuite, comment savons-nous que la tâche a été terminée
- Il peut également être utile de suivre d'autres actions pour déterminer pourquoi une tâche n'a pas réussi .
- Par exemple, dans l'exemple de recherche, si vous deviez suivre le temps passé sur la page, vous sauriez s'il y avait une nouvelle requête immédiate ou si l'utilisateur lisait d'abord les aperçus de contenu.
- Une nouvelle requête immédiate pourrait suggérer que la page était intimidante, non organisée ou peu attrayante à lire,
- tandis que le temps passé sur la page peut suggérer que le contenu présenté n'était pas pertinent pour la requête.
- Par exemple, dans l'exemple de recherche, si vous deviez suivre le temps passé sur la page, vous sauriez s'il y avait une nouvelle requête immédiate ou si l'utilisateur lisait d'abord les aperçus de contenu.
Vous devez définir vos objectifs commerciaux et sur cette base, vous pouvez définir des moyens de mesurer le succès.
Pensez à un site de commerce électronique ou pensez à un réseau social. Les objectifs de l'entreprise seront complètement différents, à savoir% de paniers abandonnés, conversion, etc.
Des outils comme Google Analytics aident à vous assurer que vous êtes en mesure de surveiller en permanence le site et d'améliorer le succès à mesure que le produit devient plus mature.
Lorsque vous créez vos critères de test d'utilisabilité, assurez-vous de considérer ce que vous voulez accomplir.
Vous pouvez vous avez plusieurs niveaux de "taux de réussite", mais il s'agit essentiellement de dire "oui" ou "non" à cette question:
"L'utilisateur a-t-il accompli la tâche?"
Citation du livre, p65:
Pour mesurer le succès d'une tâche, chaque tâche [...] doit avoir un état final clair.
C'est similaire à "efficacité" dans la définition ISO 9241-11 ...
Mesurer le succès
Pour collecter des mesures, je recommande d'utiliser une mesure de convivialité très simple: le taux de réussite des utilisateurs. Je définis ce taux comme le pourcentage de tâches que les utilisateurs effectuent correctement . Il s'agit d'une métrique certes grossière; il ne dit rien sur la raison pour laquelle les utilisateurs échouent ou sur la façon dont ils effectuent les tâches qu'ils ont effectuées.
Néanmoins, j'aime les taux de réussite car ils sont faciles à collecter et une statistique très révélatrice. Après tout, si les utilisateurs ne peuvent pas accomplir leur tâche cible, tout le reste n'est pas pertinent. Le succès de l'utilisateur est la ligne de fond de l'utilisabilité.
Les taux de réussite sont faciles à mesurer, à une exception près: comment tenir compte des cas de réussite partielle? Si les utilisateurs peuvent accomplir une partie d'une tâche, mais échouer à d'autres parties, comment devrions-nous les noter?
Disons, par exemple, que la tâche des utilisateurs est de commander douze roses jaunes à livrer à leur mère le jour de leur anniversaire. Le vrai succès de la tâche signifierait juste cela: maman reçoit une douzaine de roses pour son anniversaire. Si un utilisateur de test quitte le site dans un état où cela se produira, nous pouvons certainement marquer la tâche comme un succès. Si l'utilisateur ne passe aucune commande, nous pouvons tout aussi facilement déterminer la tâche en cas d'échec.
Mais il existe également d'autres possibilités. Par exemple, un utilisateur peut:
commandez douze tulipes jaunes, vingt-quatre roses jaunes ou un autre bouquet déviant; omettez de spécifier une adresse de livraison et faites donc livrer les fleurs à leur propre adresse de facturation; spécifier la bonne adresse, mais la mauvaise date; ou tout faire parfaitement sauf oublier de spécifier un message cadeau à joindre à l'envoi, afin que maman reçoive les fleurs mais n'a aucune idée de qui elles sont. Chacun de ces cas constitue un certain degré d'échec (bien que si dans un premier temps l'utilisateur exprime ouvertement un désir d'envoyer, disons, des tulipes plutôt que des roses, vous pouvez considérer cela comme un succès).
Si un utilisateur n'exécute pas une tâche comme spécifié, vous pouvez être strict et le marquer comme un échec. C'est certainement un modèle simple: les utilisateurs font tout correctement ou échouent. Pas de terrain d'entente. Le succès est le succès, sans qualification.
Cependant, j'accorde souvent un crédit partiel pour une tâche partiellement réussie. Pour moi, il semble déraisonnable de donner le même score (zéro) aux utilisateurs qui n'ont rien fait et à ceux qui ont réussi une bonne partie de la tâche. La façon de marquer un succès partiel dépend de l'ampleur de l'erreur de l'utilisateur.
Dans l'exemple de la fleur, nous pouvons attribuer un crédit de 80% pour avoir passé une commande correcte, mais en omettant le message cadeau; 50% de crédit pour (involontairement) commander les mauvaises fleurs ou les faire livrer à la mauvaise date; et seulement 25% de crédit pour avoir la mauvaise adresse de livraison. Bien sûr, les nombres précis dépendraient d'une analyse de domaine.
Il n'y a pas de règle ferme pour attribuer un crédit pour un succès partiel. Les scores partiels ne sont que des estimations, mais ils fournissent toujours une impression plus réaliste de la qualité de la conception qu'une approche absolue du succès et de l'échec.