Demander aux utilisateurs de deviner une distribution de réponses, plutôt qu'une seule réponse
Donc, je veux faire un quiz (semi-sérieux) qui demande aux utilisateurs de deviner ce que la plupart des autres personnes pensent sur une gamme de sujets controversés. À la fin du quiz, les utilisateurs seront informés de l'endroit où ils se sont le plus trompés sur les opinions des autres.
(Je pense qu'il y avait autrefois un quiz à la télé qui faisait ce genre de choses - Family Fortunes peut-être).
J'ai déjà des données d'enquête dans lesquelles la plupart des questions reçoivent une réponse sur une échelle de cinq points:
agree strongly
somewhat agree
neither agree nor disagree
somewhat disagree
disagree strongly
aussi bien que
'depends' (which I may choose to discard)
'refused to answer' (which I will discard)
Maintenant, le problème est que pour certaines questions, la distribution des réponses aura une large diffusion (par exemple, d'accord fortement à neutre), ou même sera à double pointe (par exemple, certains sujets peuvent polariser les gens en accord/désaccord fort, ou beaucoup peut répondre "dépend"). Je ne veux pas noter un utilisateur pour avoir choisi la "mauvaise" réponse populaire lorsque plusieurs réponses sont presque aussi populaires. Mais je pense que dessiner un histogramme est trop demander aux compétences statistiques/niveau d'engagement de l'utilisateur moyen.
Alors, comment demander au mieux son avis à l'utilisateur sur la répartition des réponses à chaque question? Gardant à l'esprit mon objectif est de déterminer les questions pour lesquelles ils "comprennent le plus" les autres (dans ce sens limité!).
MODIFIER
La réponse de Jayfang est assez bonne. Cependant, je commence à penser qu'un histogramme simplifié est approprié, après beaucoup de combinaisons de catégories et l'élimination des réponses des minorités en premier. La question est alors de savoir comment présenter un concept d'histogramme en termes simples (qui sera renormalisé pour résumer à 100%). Je pense à une série de boutons de "moins populaire" à "plus populaire" par chaque réponse, avec une note de bas de page que si vous cliquez sur le même pour tous (par exemple, tous moins ou tous plus), cela signifie simplement qu'ils sont tous les mêmes.
Une façon consiste à pré-regrouper les réponses intéressantes pour chaque question, puis à faire en sorte que les "utilisateurs" devinent quel "compartiment" va où.
c'est-à-dire que deux réponses ci-dessous ont chacune obtenu environ 40% des votes, quelles sont les deux réponses qui, selon vous, ont obtenu les votes?
- fortement d'accord
- ni d'accord ni en désaccord
- un peu en désaccord
- désapprouve fortement
- dépend
Pour une réponse uniforme, la question ne peut demander que les exceptions, c'est-à-dire le seul seau sans vote.
Une alternative pour une réponse plate est de permettre un choix supplémentaire "Aucun". c'est-à-dire quelle réponse a obtenu 50% des voix?
... 6. aucun
Vous pouvez décrire les distributions les plus courantes en mots, puis leur demander de deviner le paramètre de la distribution. Par exemple:
"Tous les chats domestiques doivent être stérilisés ou stérilisés". Comment jugez-vous l'opinion publique sur cette question?
une. La plupart des gens ont la même opinion, et il est
je. Se mettre d'accord
ii. Neutre
iii. Être en désaccord
b. Il y a deux camps, un avec des gens qui sont tous pour et un avec des gens qui sont totalement contre
c. Il n'y a pas de tendance forte, à peu près un nombre égal de personnes détient chacune des opinions possibles.
Vous dites que votre population cible a si peu de connaissances préalables en statistiques/psychométrie qu'elle serait submergée par un histogramme. Cela signifie qu'ils ne s'occupent probablement pas beaucoup des problèmes du type de ceux que vous posez et n'ont pas d'opinion bien articulée sur le sujet. Donc, vous ne pouvez pas obtenir une estimation plus précise que celles que les gens ont déjà rencontrées et remarquées dans la vie quotidienne.
Peut-être que la distribution précise de l'opinion publique sur la stérilisation des chats sur un Likert à 7 points est bimodale avec un pic deux fois plus grand que l'autre et également asymétrique vers la gauche. Mais avec une population cible comme la vôtre, personne ne fera cette supposition. La précision de la représentation de l'opinion publique semble faible; il est donc tout à fait permis de le mesurer avec un instrument de faible précision (comme celui que j'ai proposé plus haut, ou celui de Jayfang).
Mais si vous pensez toujours que les gens devinant l'histogramme correct à partir d'une gamme ajouteront de la valeur à votre recherche plutôt qu'à la description ci-dessus, vous pouvez utiliser un diagramme à pièces.
Les morceaux ne sont pas très appréciés des scientifiques des données, mais ils ont un grand avantage dans votre cas: la personne moyenne sait les lire. Et ayant très peu de segments (5 à 7 pour un Likert typique), vous évitez l'un de ses plus gros problèmes, le surpeuplement du cercle avec une myriade de segments minuscules méconnaissables. Vous devrez bien sûr faire une étude pilote (vous devriez en faire une de toute façon, peu importe l'instrument que vous choisissez), mais j'estime que la personne moyenne pourra travailler avec.