Données quantitatives et qualitatives utilisées dans la recherche UX
J'essaie de trouver des exemples de recherche sur le comportement des utilisateurs qui combinent des données quantitatives et qualitatives. Il me semble que l'essentiel de la recherche penche fortement ou exclusivement vers une approche ou l'autre. Ainsi, vous voyez souvent une étude à grande échelle tirant des conclusions très spécifiques, ou des études de carte thermique ou de suivi des yeux qui tirent des conclusions très générales. La mesure dans laquelle vous pouvez interpoler ou extrapoler ces résultats dépend certainement de la possibilité de les lier à un contexte spécifique. Étant donné qu'il existe des avantages et des inconvénients évidents pour chaque approche, quelle est la principale préoccupation des chercheurs qui mènent des études pour collecter les deux types d'informations? Je ne le fais pas par l'argument du coût ou du temps, parce que si les informations collectées ne sont pas exactes ou ne peuvent pas être mises en contexte correctement, c'est une perte de temps beaucoup plus importante.
L'un des messages clés à retenir pour les praticiens UX de Comparative Ergonomie Evaluation 8 est de:
"Combinez les résultats qualitatifs et quantitatifs dans votre rapport. Présentez ce qui s'est passé et corroborez-le en expliquant pourquoi cela s'est produit."
Parce qu'en appliquant des méthodes de recherche qualitative et quantitative, vous êtes en mesure de traiter un problème en reliant les symptômes (ce qui s'est produit) à la cause profonde du problème (pourquoi il s'est produit).
Pourquoi les données quantitatives et qualitatives ne sont-elles pas collectées en même temps dans davantage de recherches/études UX?
Vous trouverez une taxonomie et des descriptions de différentes façons d'intégrer des méthodes qualitatives et quantitatives dans le chapitre "Procédures de méthodes mixtes" de John Creswell (2013) Conception de la recherche: qualitative, quantitative et approches de méthodes mixtes (Publications SAGE). Le chapitre comprend des exemples d'études réelles. Le livre est destiné à la recherche sur le terrain en sciences sociales, mais le chapitre peut également être appliqué au travail UX. Par exemple, la thèse de Luke Swartz Pourquoi les gens détestent le trombone: étiquettes, apparence, comportement et réponses sociales aux agents d'interface utilisateur est un exemple de "stratégie d'exploration séquentielle".
Pour résumer, vous intégrez les résultats qualitatifs et quantitatifs en:
Utiliser les données qualitatives pour expliquer ce que vous avez trouvé dans les données quantitatives.
Utiliser les données qualitatives pour décider quoi manipuler et mesurer quantitativement.
Utilisez une méthode pour valider les résultats de l'autre (où l'un compense la faiblesse de l'autre).
Utilisez la méthode la plus appropriée pour chaque composant de votre théorie que vous testez.
Les méthodes qualitatives et quantitatives ont des besoins différents, elles sont donc souvent menées séparément, presque comme s'il s'agissait d'études distinctes. Ils utilisent souvent différents échantillons ou procédures d'échantillonnage. Cependant, vous pouvez effectuer des méthodes mixtes en une seule série de tests d'utilisabilité:
Vous encouragez l'utilisateur à penser à haute voix, ce qui (j'ai toujours supposé) a peu d'impact sur les performances quantitatives relatives (par exemple, le temps pour terminer la tâche, le nombre d'erreurs, la durée du regard). Pour obtenir des résultats quantitatifs précis, évitez d'interrompre l'utilisateur, peut-être uniquement s'il est bloqué pendant une période standard.
À la fin du test, vous pouvez utiliser une enquête quantitative (par exemple, SUS). Après cela, vous menez un entretien/débriefing qualitatif (ce qui peut impliquer de revenir dans l'application pour discuter de ce qui s'est passé à divers endroits).
Vous effectuez une analyse qualitative des bandes vidéo, des données oculaires (qui peuvent également être analysées quantitativement) et des résultats des entretiens. Étant donné que l'analyse qualitative prend du temps par utilisateur alors que les méthodes quantitatives nécessitent un échantillon de taille relativement importante, vous souhaiterez peut-être effectuer une analyse qualitative sur un sous-ensemble de vos utilisateurs.
Vous intégrez les résultats des méthodes en utilisant une ou plusieurs des stratégies de Creswell.
Je ne peux parler que par expérience personnelle, mais je mène souvent des recherches à méthodes mixtes qui combinent des enquêtes et des données qualitatives. Cela vous donne des données complémentaires telles que "Quantitativement, les utilisateurs ont préféré le site A au site B. Le groupe de discussion explique certaines des raisons pour lesquelles ils ont préféré le site A."
Exécuter en parallèle qualitatif et quantitatif comme vous l'avez décrit ci-dessus est une idée intéressante. D'après mon expérience, cependant, les avantages d'une étude quantitative proviennent des grands échantillons, des marges d'erreur serrées et de la généralisation. Comment pourriez-vous tenir compte du compromis entre les grands échantillons dans les études quantitatives, mais l'argent et le temps qu'il faut pour exécuter des études qualitatives avec suffisamment d'utilisateurs pour obtenir les avantages de la grande taille de l'échantillon?
Les méthodologies mixtes sont toujours les meilleures, car vous obtenez à la fois ce qui s'est passé et pourquoi cela s'est produit. Consultez ces articles ....
https://www.nomensa.com/blog/2015/ux-research-selecting-right-method
https://www.nngroup.com/articles/which-ux-research-methods/
Vous n'avez pas besoin de données qualitatives si vous voulez savoir "ce qui s'est passé" et vous n'avez pas besoin de données quantitatives si vous avez seulement besoin de savoir "pourquoi c'est arrivé". Si vous ne pouvez pas observer vos utilisateurs dans leur contexte, vous devrez peut-être utiliser des méthodologies pouvant être mises en œuvre à distance.
Si vous êtes dans la phase de pré-conception, vous souhaitez utiliser une méthodologie qualitative pour comprendre ce qu'est le produit. Si vous avez lancé, vous souhaitez mettre en œuvre une recherche quantitative pour savoir comment votre produit est utilisé et à quelle fréquence. Par exemple. Suivi des yeux ou Google Analytics.
Répondre à Lucas, quantitatif et qualitatif peut être coûteux. Par exemple. Le tri des cartes peut prendre beaucoup de temps pour organiser les données et tirer des conclusions précises. Toutes les recherches nécessitent de grands échantillons pour être valides.
Cependant, si vous êtes une startup sans beaucoup d'argent, vous devez utiliser la recherche qualitative pour créer des modèles mentaux et les meilleures suppositions. Vous pouvez effectuer des évaluations heuristiques sur des produits similaires déjà sur le marché.
Jeune, Indi. 2008. Modèles mentaux: aligner la stratégie de conception sur le comportement humain. New York: Rosenfeld Media.