Existe-t-il une méthodologie de test similaire au test A / B, mais sans objectif spécifique?
S'il vous plaît, pardonnez-moi; cela peut être quelque peu long.
Je travaille dans une bibliothèque universitaire. Je voudrais étudier dans quelle mesure les fonctionnalités variées de notre site répondent aux besoins de nos utilisateurs; par exemple, l'étiquetage des éléments de l'interface utilisateur, la mise en page, la copie de pages particulières, etc. Mais il est difficile d'articuler un objectif spécifique que je pourrais mesurer via un test A/B, car si une action spécifique convient ou non dépend entièrement de ce que l'utilisateur recherche.
Par exemple:
- Alice a besoin d'articles sur le traitement des traumatismes infantiles pour un article de classe.
- Bob recherche des analyses SWOT des principaux fabricants de chaussures.
- Charlie a besoin d'une copie du texte latin original de la Legenda Aurea .
- Diane veut vraiment imprimer le papier qu'elle vient de terminer, mais ne sait pas si elle peut le faire à la bibliothèque, ou quand la bibliothèque est ouverte.
La bibliothèque peut répondre à tous ces besoins. Alice doit rechercher PsycInfo. Bob devrait regarder Mergent Online. Le catalogue peut dire à Charlie si nous en avons une copie, ou il peut en demander une par prêt entre bibliothèques. Diane peut connaître les heures d'ouverture de la bibliothèque et pouvoir imprimer des trucs à partir d'une ou plusieurs pages de notre site. Tous ces objectifs nécessitent différentes actions pour être atteints, et il y a souvent plus d'une façon de procéder. En bref, comme je ne sais pas ce que recherche un visiteur donné, je ne peux pas dire si ce qu'il a essayé a bien fonctionné ou non.
Je suis au courant des sondages et des tests d'utilisabilité par observation directe utilisant le protocole de réflexion à voix haute, ainsi que des types de cartes et d'autres choses. J'en ai utilisé certains (observation directe et types de cartes). Mais je voudrais tester certains choix de conception spécifiques en utilisant des données provenant de visiteurs en direct plutôt que de personnes dans un environnement de test artificiel, et j'ai du mal à comprendre comment mesurer les résultats de manière significative.
Je pense ce dont j'ai besoin est un moyen de faire un test A/B qui ne présume pas qu'une action spécifique soit la métrique du succès. Suggestions?
(Modifié: d'une manière ou d'une autre, j'ai réussi à manquer le 'site' de Word en lisant votre message d'origine! Désolé.)
Je ne sais pas si vous voulez une variante du test A/B, car vous n'en avez pas vraiment non plus/ou vous souhaitez tester. Le seul résultat binaire que vous avez est "l'utilisateur a-t-il trouvé ce dont il avait besoin"? Cela pourrait s'avérer utile plus tard lorsque vous examinerez les facteurs qui auraient pu prédire ce résultat.
La première chose qui me vient à l'esprit est, si vous avez les ressources, d'observer essentiellement un petit échantillon d'utilisateurs lorsqu'ils naviguent sur le site et d'interagir avec eux dans une sorte d'interview semi-structurée, essentiellement une session de test d'utilisabilité. Les sortes de questions que j'ai à l'esprit sont quelque chose comme:
- Que vouliez-vous réaliser aujourd'hui?
- En pensant aux ressources dont vous disposez, quelle est selon vous la première étape?
- (après la première étape) Cela vous a-t-il aidé à atteindre votre objectif?
- Pourquoi pensez-vous que c'était?
- (et ensuite) En pensant aux ressources disponibles sur le site, quelle est la prochaine étape vers la réalisation de votre objectif?
- (répéter jusqu'à ce que l'objectif soit atteint ou que le participant abandonne)
- (à la fin du parcours) Pouvez-vous évaluer (par exemple sur 10) dans quelle mesure vous avez atteint [votre objectif] aujourd'hui?
Bien sûr, le fait que vous leur demandiez de réfléchir et de décrire leurs progrès modifiera probablement un peu leur comportement naturel, mais probablement pas pire que dans tout autre type de test d'utilisabilité.
Il pourrait alors être utile, lorsque vous avez fait cela avec quelques personnes, d'examiner les réponses des participants qui n'atteignent pas leurs objectifs et de voir s'ils ont quelque chose en commun. Et puis, si vous avez le temps, d'apporter les changements qui, selon vous, amélioreront l'expérience des gens, puis testez à nouveau.
Je manque probablement quelques questions cruciales ici, mais vous aurez une meilleure idée des types de ressources de bibliothèque/aides à la navigation/etc. que vous souhaitez tester. (Donc, par exemple, si vous vouliez tester la navigabilité du site, vous pourriez encadrer les questions avec "En regardant à gauche/en haut de l'écran,…" - c'est une idée assez simplifiée, mais j'espère que vous savez ce que je veux dire.)
J'espère que c'est utile; vraiment intéressé de savoir comment cela fonctionne pour vous. Bonne chance :)