Effets de la pondération des votes pour les utilisateurs confirmés dans des sites matures et gamifiés comme Stack Exchange

Question

Étant donné les deux utilisateurs suivants dans un système de type Stack Exchange, que nous pouvons raisonnablement déduire existeront dans un système réussi et mature:

• Utilisateur A, qui vient de s'inscrire sur le site et qui n'a pas encore connaissance du sujet du site
• L'utilisateur B, qui a reçu la plus haute distinction pour la connaissance d'une étiquette donnée (ce serait un badge d'étiquette d'or sur Stack Exchange)

et les deux systèmes matures suivants:

• Système 1 - est comme Stack Exchange. Les utilisateurs votent sur les actions des autres et la réputation est attribuée pour ces votes. Chaque vote a le même effet de réputation quelle que soit la réputation de l'utilisateur votant
• Système 2 - est très similaire, sauf que le vote de l'utilisateur B aurait beaucoup plus d'impact sur la réputation - pour Stack Exchange en particulier, cela pourrait être X2 pour un badge de médaille de bronze, X5 pour un argent et X10 pour un or si le vote était exprimé sur une question avec le tag correspondant

Pour être clair sur les effets du système 2, si l'utilisateur A était un expert dans leur domaine, leurs réponses de haute qualité attireraient des votes d'utilisateurs comme l'utilisateur B et l'utilisateur A bénéficieraient de l'amélioration de la réputation. L'expertise de l'utilisateur B n'aurait aucune incidence sur la réputation acquise grâce aux votes exprimés sur ses publications, mais uniquement sur la réputation acquise par les cibles de ses votes.

Quelles sont les différences dans l'état des bases d'utilisateurs dans ces deux systèmes? En particulier, la pondération des voix en faveur des utilisateurs confirmés entraîne-t-elle des problèmes imprévus pour les utilisateurs, nouveaux ou établis? Ce problème a-t-il été examiné par quiconque?

Answer 1

Il existe plusieurs façons de répondre à cette question.

Mais je pense que vous devez considérer le but (objectifs utilisateur/entreprise) derrière le système actuel, et les avantages/inconvénients de nombreuses alternatives possibles (votre idée n'est qu'une des nombreuses variantes possibles).

Essentiellement, le système actuel n'est pas rigoureux, car les concepteurs ont plutôt opté pour la simplicité. La complexité de tout système doit être justifiée.

Néanmoins, il y a pas mal de sujets intéressants à ce sujet, et j'essaierai de les intégrer autant que possible.

Stratégies de vote - Un peu d'histoire

Les stratégies de vote ont de lourdes conséquences sur les résultats.

La stratégie Facebook originale - unipolaire comme uniquement - ne signifie aucun renforcement négatif pour ses utilisateurs (une bonne chose étant donné la nature de Facebook, en particulier à court terme). Mais l'absence d'une option Je n'aime pas (une stratégie bipolaire) signifie un contrôle de qualité réduit et un filtrage efficace (une mauvaise chose à long terme).

De même, chacune des stratégies de notation suivantes donnerait des résultats différents (pensez aux notations Amazon):

• Cinq étoiles - de 1 à 5;
• Cinq étoiles - de -2 à 2 (donc très mauvais, mauvais, neutre, bon, très bon).
• Quatre départs très mauvais, mauvais, bon, très bon - pas de neutre).

Vous devez vous attendre (du moins dans le cas d'Amazon, où l'hypothèse est que la plupart des achats ne sont pas retournés) un biais positif si le deuxième ou le troisième système est utilisé.

Les riches s'enrichissent

Maintenant, votre question fait référence à votes pondérés - où certains votes comptent plus que d'autres.

Bien que soumis à une analyse mathématique, vous pourriez avancer le cas suivant:

• Les utilisateurs réputés (type B) sont susceptibles de produire un meilleur contenu que les nouveaux utilisateurs (type A). Cette hypothèse n'est peut-être pas valide, mais elle va de pair.
• Un tel meilleur contenu sera plus apprécié par les utilisateurs réputés et non réputés.
• Il se peut que des utilisateurs réputés apprécient mieux un bon contenu (de la même manière que les critiques d'art ont une meilleure "notion" de ce qu'est une bonne œuvre d'art). Ils voteront donc davantage pour les utilisateurs réputés.
• Il peut également arriver que des utilisateurs réputés utilisent le site plus souvent et votent donc plus.
• Le résultat net de cela serait que les utilisateurs de bonne réputation auront plus de réputation que les nouveaux. Ce qui, au fil du temps, créera une inégalité des "gains".

Maintenant, SE peut facilement effectuer une analyse pour déterminer si le cas ci-dessus se produit effectivement et si l'argument ci-dessus est valable.

Il y a d'autres sujets, comme l'asymétrie de vote (le poids et le rapport entre les votes haut et bas), que je ne vais pas aborder ici.

Le tirage au sort de la NBA

Peut-être une bonne analogie pour cela serait le --- (projet de loterie dans la NBA , par rapport au système sans projet de la Premier League anglaise. Le premier permet aux plus petits de s'améliorer, alors que le second rend généralement le meilleur encore meilleur.

Déjà un problème sur SE

SE a déjà des problèmes avec le problème "les riches s'enrichissent". En particulier sur StackOverflow, où certaines questions clés ont été posées il y a des années et auxquelles ont répondu les premiers membres - ces personnes ont une réputation capitale en raison du timing plutôt que de toute autre substance véritable. Voir cette question pour un exemple.

Ce problème défie la perspective de gamification du système de réputation.

Le point soulevé est qu'un système opposé à ce que vous suggérez pourrait en fait mieux fonctionner - où les votes des utilisateurs réputés obtiennent moins de poids, créant un ensemble plus classement équilibré.

L'aspect social

Égalité sociale

Les implications de la stratégie de vote choisie sur divers objectifs sont donc un argument. Mais à mon avis, un principe beaucoup plus important est en jeu ici - celui de l'égalité sociale .

Il y a une tendance croissante (dans les cultures scientifiquement motivées au moins) à s'éloigner des hiérarchies et vers l'égalité sociale. Il s'agit d'une tendance à côté de l'universel, affectant les politiques gouvernementales, les structures et processus organisationnels, et même la conception - où la vue socio-technique est de plus en plus dominante.

La raison en est qu'il existe de plus en plus de preuves démontrant que l'égalité au sein des équipes - et de la société en général - donne les résultats les plus efficaces.

En termes simples, il est de plus en plus reconnu que l'accent devrait être mis sur les collectifs plutôt que sur les individus qui les composent.

L'inégalité sociale (où certaines personnes sont considérées `` plus '' que d'autres) a coûté la vie aux gens - comme dans de nombreux accidents d'aviation coréens (où les copilotes n'ont pas osé signaler les erreurs des pilotes), ou au sein des équipes hospitalières (où les erreurs ont été commises). pas partagé et traité par crainte des supérieurs).

Au sein des organisations, la recherche a montré que les meilleures décisions étaient prises lorsque le débat était sans inégalité. La notion d'un PDG ayant un poids de vote plus élevé qu'un chef d'équipe, ou même l'idée que le PDG est perçu comme quelqu'un dont les opinions ne peuvent être contestées, se sont parfois avérées toxiques.

Cela ne signifie nullement que les systèmes de pondération n'ont pas leur place. Il y a de nombreux cas où ils le font, par exemple, l'équipage et les passagers ont des enjeux beaucoup plus élevés dans la sécurité aérienne que le personnel au sol. Mais c'est une affaire assez éloignée d'un groupe de personnes qui classe objectivement le contenu sur SE.

Égalité avec diversité équilibrée

Jusqu'à présent, l'égalité a été définie comme le fait qu'aucune personne n'a plus de poids qu'une autre. Mais l'égalité a de nombreuses dimensions et en fait, une équipe parfaitement égale sera complètement dysfonctionnelle.

La plupart des recherches qui traitent de l'égalité sociale (dans le contexte de la prise de décision) affirment également l'importance d'une diversité équilibrée . En ce sens, les groupes "tout oui" (accord total) et "tout non" (désaccord total) sont mauvais dans la prise de décision. Les meilleurs groupes sont constitués de membres dont la diversité est équilibrée dans différentes dimensions (empathie et prise de risque, par exemple).

En ce sens, vous pouvez affirmer que la réputation est une dimension qui doit être équilibrée en ce qui concerne la stratégie de vote sur SE. Et donc, sur la base des théories ci-dessus, par rapport aux nouveaux utilisateurs plus les utilisateurs réputés votent sur quelque chose - leurs votes devraient compter moins; mais par rapport aux nouveaux utilisateurs moins les utilisateurs réputés votent sur quelque chose - leurs votes devraient compter plus.

Une autre amélioration serait de ne pas diviser les utilisateurs en groupes A/B, mais plutôt de peser chaque vote en fonction du rapport entre la réputation de l'électeur et celle de tous les électeurs.

Une telle mise en œuvre, alors qu'en théorie pourrait donner les résultats les plus "socialement valables", est lourde et peut ne procurer aucun avantage réel au site, compte tenu de ses objectifs.

Sommaire

J'ai donc d'abord essayé de donner un aperçu de la façon dont diverses stratégies de vote pouvaient affecter les résultats globaux, et que de nombreuses options peuvent être choisies et ajustées pour s'adapter aux objectifs des utilisateurs et des entreprises.

Pourtant, j'ai utilisé la recherche sur l'égalité sociale pour expliquer pourquoi des votes pondérés fiables/nouveaux peuvent donner des résultats douteux dans l'ensemble.

Enfin, une diversité équilibrée suggère qu'un certain système de pondération des votes pourrait être utile, bien que ses avantages soient discutables.