Comment mesurer les compétences informatiques déclarées? Idéalement avec un seul article
Pour un test de convivialité, j'aimerais avoir une mesure simple de la compétence informatique, pour pouvoir voir si cela a un impact sur la bonne gestion des tâches.
Comment pouvons-nous mieux mesurer cela?
Une simple question avec une échelle de likert serait Nice, mais est difficile à créer. Comme je pense juste demander "à quel point êtes-vous compétent avec les ordinateurs?" ne produira probablement pas de résultats valides car il n'y a rien à comparer à votre compétence.
J'utiliserais un ensemble de questions sur une échelle: par exemple, "je n'utilise un ordinateur que lorsque je dois vraiment" ou "j'utilise un ordinateur pour un certain nombre de tâches, mais je dois parfois obtenir de l'aide" jusqu'à "je suis un expert en informatique qui travaille dans la résolution de problèmes informatiques "
L'important est de définir les limites de l'échelle et de rendre chaque entrée positive, ce qui est difficile à faire.
Lorsque j’ai eu besoin d’évaluer ce genre de choses, je travaille sur un certain nombre d’utilisations informatiques - "Je ne possède pas d’ordinateur, mais je dois parfois en utiliser un" pour "J'utilise un ordinateur toute la journée au travail, et beaucoup de mon temps libre aussi ". La définition de la durée d'utilisation des ordinateurs correspond à peu près à la confiance ou à la connaissance de l'utilisation.
L'autre problème est ce que vous entendez par "compétence" - je suis un professionnel du logiciel, mais je ne connais pas grand-chose aux aspects matériels. Les gens peuvent être très compétents dans l'utilisation des applications, mais ne savent rien de leur fonctionnement ou des aspects du code. Je pense donc que vous devez définir plus clairement la "compétence", ce qui devrait vous aider à identifier une échelle que vous pouvez utiliser.
Le problème est que les niveaux de compétence autodéclarés sont presque toujours trompeurs.
Pour une raison, pensez au classique Quatre étapes de compétence .
Quelqu'un qui a une incompétence inconsciente ne sait même pas qu'il manque de compétences. Ils surestimeront généralement leur niveau de compétence.
Quelqu'un qui a une incompétence consciente est conscient de ce qu'il ne sait pas. Ils sous-estiment généralement leur niveau de compétence.
Quelqu'un qui a une compétence consciente sait qu'il peut le faire, mais cela demande beaucoup de travail et il pense souvent qu'il le fait mal. Ils sous-estiment généralement leur niveau de compétence.
Quelqu'un qui a une compétence inconsciente le fait comme une seconde nature et a souvent oublié à quel point les autres le trouvent difficile. Ils se classent généralement très bien et sont précis.
Ajoutez à ce mélange l'idée que la plupart des gens sont des intermédiaires perpétuels (ni débutants ni experts, voir le livre d'Alan Cooper Les détenus dirigent l'asile ), et vous constatez que l'auto-évaluation s'effondre car les évaluations n'ont pas de forte corrélation avec les compétences réelles.
L'auto-déclaration ne fonctionne pas pour quelque chose comme ça. Posez-leur plutôt quelques questions par procuration telles que:
A quelle fréquence utilisez-vous un ordinateur? À quelle fréquence utilisez-vous un ordinateur pendant votre temps libre?
Je suis sûr que vous pouvez penser à d'autres, mais l'idée générale est de poser des questions sur quelque chose d'autre qui correspond à la compétence mais qui est plus objectif.
Il est très difficile d'obtenir une échelle objective de compétence informatique en une seule question. J'ai essayé de le faire dans le but de filtrer les utilisateurs d'ordinateurs avancés des tests d'utilisabilité, mais pas dans le but de déterminer la relation entre la compétence et l'achèvement de la tâche. Je ne pense pas que la réponse à une seule réponse vous permettra de le faire; Je pense que la meilleure approche pour cela est les idées d'Aomedia et d'Ebeth pour un ensemble de questions liées aux tâches, à partir desquelles vous pouvez essayer de définir un score de compétence.
La façon dont je ferais cela est de dresser une liste des tâches qui seraient les plus pertinentes pour votre propre test, et de poser quelques variantes des questions suivantes, de leur donner 1 pt par question et d'additionner les scores. Assurez-vous que les tâches représentent des niveaux de compétence réellement différents les uns des autres, ou représentent différents types de travail, sinon la corrélation entre les tâches entraînera une catapulte pour certains utilisateurs disproportionnellement plus élevée par rapport à leur compétence réelle.
À quand remonte la dernière fois que vous avez fait [tâche], si jamais?
- Aujourd'hui ou hier
- Au cours de la dernière semaine <- attribuez 1 point pour cette réponse ou plus
- Au cours du dernier mois
- Jamais
À quelle fréquence [effectuez-vous une tâche], le cas échéant?
- Du quotidien
- Plusieurs fois par semaine <- 1 pt
- Hebdomadaire
- Mensuel
Pour ce que ça vaut, j'ai trouvé des variantes sur le thème suivant "comment les autres vous voient" efficaces pour éliminer les utilisateurs les plus compétents. C'est très subjectif et varie d'une personne à l'autre, mais c'était assez bon pour mes besoins.
Vos amis et votre famille vous demandent-ils des conseils ou de l'aide pour utiliser des ordinateurs?
Vos collègues vous voient-ils comme un utilisateur expert de [logiciel]?
Tout ce qui est "auto-déclaré" ne fonctionne pas, l'évaluation des gens de leurs propres capacités est souvent très inexacte.
Vous aurez une idée générale de la qualité (ou non) de l'utilisation des ordinateurs lors des tests réels.
J'ai utilisé une liste de tâches potentielles dans lesquelles on utiliserait un ordinateur. Par exemple:
J'utilise un ordinateur pour:
- Vérifier mes e-mails à l'aide de Netscape Thunderbird
- Vérifier mes e-mails à l'aide de Microsoft Outlook
- Découvrez ce que mes amis font sur Facebook
- Obtenir des informations sur l'utilisation de Twitter
- Recherchez de gros achats comme une nouvelle voiture ou un téléviseur en utilisant le Web
- Créer ma propre page Web à l'aide de Microsoft Publisher
- Modifier des photos à l'aide d'Adobe Photoshop
J'utilise quelque chose comme ça comme sondage pré-test, puis quand ils seront dans la salle de test, je poserai des questions plus approfondies comme "Comment avez-vous commencé à rechercher l'achat d'une nouvelle voiture?" ou "À quelle fréquence modifiez-vous les photos." etc.
J'utilise les noms des applications logicielles et des sites réels car je peux, généralement mais pas toujours, déterminer leur niveau d'expertise. Quelqu'un qui utilise MS Office peut être un utilisateur Word ou Excel très avancé, mais quelqu'un qui utilise Open Office peut être plus avancé dans la recherche sur le Web, l'installation d'applications et les connaissances générales de la technologie.
Connaître la compétence d'une personne dans des tâches connexes pourrait être plus utile car la plupart des gens ont tendance à surestimer ou à sous-estimer leurs compétences générales. Donc, si vous leur avez demandé s'ils étaient à l'aise avec:
- publier une photo sur Facebook ou tout autre site,
- l'édition de cette image sur un site Web qui offre ce type de service,
- récupérer les pièces jointes d'un e-mail,
- l'édition d'images,
- ... jusqu'à des tâches complexes
, vous pourriez vous retrouver avec un profil plus précis.
Je pense qu'il est important de comprendre les informations ou les résultats que vous souhaitez obtenir en posant la question, car cela déterminera la pertinence de la réponse. Il est difficile de le faire dans une réponse simple à une question, car il peut y avoir beaucoup de facteurs contextuels que vous souhaitez mettre en évidence.
Par exemple, si vous voulez juste une mesure générale pour trier les groupes d'utilisateurs en différents niveaux de connaissances informatiques perçues, il y a probablement des questions standard basées sur des applications et des tâches couramment utilisées parmi lesquelles vous pouvez choisir. Cependant, si vous savez déjà quelque chose sur votre groupe d'utilisateurs (par exemple, ils sont une population plus âgée), alors vous avez peut-être besoin de quelque chose de plus spécifique à ce qu'ils connaissent afin de pouvoir les séparer en groupes (sinon vous pourriez simplement mettre tout le monde dans une seule catégorie) ).
De plus, si vous testez ou travaillez sur un type d'application spécifique, vous souhaiterez peut-être poser une question ciblée sur les tâches typiques de ces applications (peut-être basées sur des statistiques d'utilisation pour déterminer la complexité ou la fréquence de cette fonctionnalité/tâche est).
Enfin, je suppose que la raison pour laquelle vous êtes intéressé par une question à un seul élément est parce que vous avez peut-être vu des choses comme le score NPS qui peut encapsuler un grand nombre de variables en un seul chiffre à rapporter, mais cela suppose également que 't besoin d'être en mesure de déterminer plus tard quels sont ces facteurs en ne recueillant pas d'informations à ce sujet.
Je ne connais aucune métrique "magique" dans UX parce que les recherches que nous faisons dépendent tellement du contexte, mais si vous en rencontrez, je serais ravi de les tester également!