Alternatives à l'échelle d'utilisation du système (SUS)
Quels sont les principaux "concurrents" pour le enquête SUS ?
Y a-t-il quelque chose qui recueille un degré d'acceptation significatif en tant que norme dans la mesure où SUS a?
En particulier ... y a-t-il quelque chose qui produit des résultats assez fiables avec moins de questions?
Jim Lewis a écrit un article en 2012 pour Mesurer l'utilisabilité
L'article explique la corrélation directe trouvée entre les scores SUS et les scores nets des promoteurs (NPS). Ils ont constaté qu'il était possible de prédire les scores NPS en fonction de SUS , ce qui signifie que l'inverse est également vrai.
Le Net Promoter Score est une enquête largement utilisée qui se compose d'une seule question. C'est beaucoup moins que les 10 questions de l'enquête SUS :)
La corrélation entre les deux scores a été tirée de plus de 2200 utilisateurs à travers 81 différentes sociétés et produits, y compris sociétés de location de voitures, applications financières et sites Web comme Amazon.com .
La relation publiée est:
LTR = 1.33 + 0.08(SUS)
Il y a le SUMI et le WAMMI de l'University College Cork ( http://www.ucc.ie/hfrg/questionnaires/index.html ). Ils nécessitent des frais d'utilisation et sont plus longs que le SUS.
En Allemagne, ces deux questionnaires sont utilisés (et je pense qu'ils sont connus dans les cercles d'utilisabilité):
- AttrakDif
- UEQ
Je vais citer ma réponse ici: https://ux.stackexchange.com/a/72905/3311 :
AttrakDif
Le questionnaire AttrakDiffTM de Hassenzahl et al. (2003), développé en collaboration avec User Interface Design GmbH, mesure les évaluations subjectives concernant les qualités pragmatiques et hédoniques et l'attractivité des produits interactifs.
Le questionnaire a le format d'un différentiel sémantique et utilise 28 éléments en sept étapes sur 4 dimensions dont les pôles sont des adjectifs opposés (par exemple compliqué - simple, bon marché - premium, conservateur - innovant, laid - attrayant). Source: http://www.qu.tu-berlin.de/menue/forschung/laufende_projekte/joyofuse/joy_of_use/joy_of_use/measurement_methods/attrakdiff/
UEQ - Questionnaire sur l'expérience utilisateur
Le questionnaire sur l'expérience utilisateur (UEQ) permet une évaluation rapide de l'expérience utilisateur des produits interactifs. Le format du questionnaire aide les utilisateurs à exprimer immédiatement les sentiments, les impressions et les attitudes qui surviennent lorsqu'ils utilisent un produit. Source: http://www.ueq-online.org/index.php/what-is-the-user-experience-questionnaire/
En ce qui concerne la question, "en particulier ... y a-t-il quelque chose qui produit des résultats quelque peu fiables similaires avec moins de questions?"
Vous devriez jeter un œil à la recherche publiée sur la métrique de convivialité pour l'expérience utilisateur, publiée par Finstad (2010). L'UMUX comporte quatre éléments et s'est généralement avéré avoir des propriétés psychométriques souhaitables et avoir des scores qui sont fortement corrélés avec le SUS et, dans certaines études, ont également produit des scores qui suivent de très près avec SUS marque en magnitude.
En 2013, Lewis, Utesch et Maher ont pris deux des articles UMUX pour produire l'UMUX-LITE. Selon l'abrégé de ce document CHI, "Dans cet article, nous présentons l'UMUX-LITE, un questionnaire en deux points basé sur la métrique d'utilisabilité pour l'expérience utilisateur (UMUX). Les éléments UMUX-LITE sont" Les capacités de ce système répondent à mes exigences "Et" Ce système est facile à utiliser. " Les données de deux enquêtes indépendantes ont démontré une qualité psychométrique adéquate du questionnaire. Les estimations de la fiabilité étaient de 0,82 et 0,83 - excellentes pour un instrument à deux items. La validité concomitante était également élevée, avec une corrélation significative avec le SUS ( .81, .81) et avec des scores de vraisemblance à recommander (LTR) (.74, .73). Les scores étaient sensibles à la fréquence d'utilisation des répondants. Les moyennes des scores UMUX-LITE étaient légèrement inférieures à celles des SUS, mais facilement ajustable en utilisant une régression linéaire pour correspondre aux scores SUS. En raison de sa parcimonie (deux éléments), de sa fiabilité, de sa validité, de sa base structurelle (utilité et utilisabilité) et, après avoir appliqué la formule de régression corrective, son correspondance avec SUS scores, l'UMUX-LITE semble être une alternative prometteuse au SUS lorsqu'il n'est pas souhaitable d'utiliser un instrument à 10 items. "
Depuis, des études supplémentaires ont été menées sur l'UMUX-LITE. Voici une liste d'articles à lire sur le sujet:
Borsci, S., Federici, S., Bacci, S., Gnaldi, M., et Bartolucci, F. (2015). Évaluer la satisfaction des utilisateurs à l'ère de l'expérience utilisateur: comparaison des SUS, UMUX et UMUX-LITE en fonction de l'expérience produit. Journal international de l'interaction homme-machine, 31, 484-495.
Finstad, K. (2010). La mesure de convivialité pour l'expérience utilisateur. Interagir avec les ordinateurs, 22, 323-327.
Finstad, K. (2013). Réponse aux commentaires sur "La mesure de convivialité pour l'expérience utilisateur". Interagir avec les ordinateurs, 25, 327-330.
Lewis, J.R. (2013). Examen critique de "La mesure de convivialité pour l'expérience utilisateur". Interagir avec les ordinateurs, 25, 320-324.
Lewis, J.R., Utesch, B.S., et Maher, D.E. (2013). UMUX-LITE - Quand il n'y a pas de temps pour le SUS. Dans Actes de CHI 2013 (pp. 2099-2102). Paris, France: Association for Computing Machinery.
Lewis, J.R., Utesch, B.S., et Maher, D.E. (2015). Mesurer l'utilisabilité perçue: SUS, UMUX-LITE et AltUsability. International Journal of Human-Computer Interaction, 31, 496-505.
Jeff Sauro a publié un article dans le Journal of Ergonomie Studies sur une nouvelle enquête qu'il a créée. Dans le document, il a un bon tableau récapitulatif des enquêtes actuellement utilisées. SUPR-Q: une mesure complète de la qualité de l'expérience utilisateur du site Web
Promoteurs - détracteurs
Je ne sais pas comment vous définissez les "concurrents", mais ForeSee a développé un successeur prétendu au Net Promoter Score: WoMI> Word of Mouth Index . C'est juste une marque de commerce sur une prémisse de base que certains chercheurs utilisent depuis un certain temps (ForeSee aime facturer des choses simples).
WoMI modifie la formule simpliste du NPS avec une seule question supplémentaire sur l'échelle de 0 à 10: probabilité de décourager (ILD) en plus de la probabilité de recommander (LTR). Vous factorisez ensuite ensemble les répondants forts de chacun (9s et 10s), pour trouver votre vrai score.
Ce n'est pas aussi détaillé que SUS, mais comme vous le suggérez, 10 questions ne sont pas toujours idéales. J'aime le fait qu'avec un simple calcul de promoters - detractors je peux obtenir le score fondamental que je recherche. Je trouve que c'est le moyen le plus léger pour obtenir une indication réaliste du succès des fonctionnalités.