web-dev-qa-db-fra.com

Lorsque vous effectuez des recherches auprès des utilisateurs / des enquêtes auprès des clients, comment les incitations financières affectent-elles la qualité et la quantité des commentaires?

En tant que client, je reçois une quantité décente d'enquêtes, en particulier de grandes entreprises.

La plupart du temps, ils demandent 5 ou 10 minutes de mon temps pour remplir les commentaires. En général, je les ignore car il n'y a aucun avantage direct pour moi à les remplir.

Parfois, ils offrent une participation à un tirage au sort, ou pour des questions plus approfondies, ils paieront une somme d'argent ou une carte-cadeau.

Existe-t-il des recherches (ou des preuves anecdotiques) sur la façon dont l'ajout d'incitations financières affecte la rétroaction des clients, à la fois dans le nombre de réponses et (éventuellement) dans la qualité/le niveau de détail?

researchfeedback
3
Midas

Résumé général

Il est sûr de généraliser et de suggérer que les effets positifs et négatifs de l'utilisation des incitations sur le taux de réponse à l'enquête et la qualité des données peuvent être décrits comme légers à aucun .

Notes sur ces études

J'ai d'abord inclus une liste de liens plus longue, mais après examen, j'ai trouvé que leur contenu réel était mince, ou ils avaient basé leur contenu sur d'autres études référencées dans la liste.

Les deux premières études (étude d'impact par International Journal of Market Research et Meta Analysis de Singer, 2012) pourraient être considérées comme des travaux de base dans ce domaine et sont fréquemment référencées par d'autres travaux.

L'expérience 1 a été réalisée dans un panel d'étude de marché commercial. Il a examiné si trois types différents d'incitations promises (points bonus échangeables, loterie d'argent et loterie cadeau), quatre montants différents de points bonus ou d'argent tiré au sort, et deux dénominations différentes d'argent tiré au sort ont influencé la quantité de réponses, la composition de l'échantillon, la qualité des réponses et les résultats de l'enquête . Le type d'incitation et le nombre de points bonus ont légèrement influencé le décrochage et la composition de l'échantillon. De plus, la réponse était plus élevée avec les points bonus qu'avec les deux types de loteries. La qualité des réponses et les résultats de l'enquête n'ont pas été affectés.

L'expérience 2 a été menée dans un panel à but non lucratif, qui détient la moitié des participants auto-sélectionnés et la moitié des participants non-auto-sélectionnés. Les incitations consistaient en deux montants d'argent tirés au sort dans deux dénominations différentes. La réponse, le décrochage, la qualité de la réponse, les résultats de l'enquête et la composition de l'échantillon n'ont pas été affectés.

Taux de réponse

La méta-analyse de Church (1993) a révélé:

(Enquêtes transversales sur le courrier)

  • Les incitations prépayées ont donné des taux de réponse nettement plus élevés que promis ou aucune incitation
  • Les incitations monétaires ont donné des taux de réponse plus élevés que les cadeaux
  • Les taux de réponse ont augmenté avec l'augmentation des sommes d'argent, mais pas nécessairement de façon linéaire
  • Edwards et al. (2002) ont rapporté des résultats similaires dans une méta-analyse ultérieure
  • À quelques exceptions près, les rapports d'expériences plus récentes concordent avec les résultats rapportés par Church et Edwards et al.

(Enquêtes par l'intervieweur)

  • La méta-analyse de Singer et al. (1999) de 39 expériences a trouvé des résultats similaires à ceux des enquêtes par courrier, bien que les effets des incitations soient généralement plus faibles.
  • L'analyse de Cantor, O’Hare et O’Connor (2008) de 23 expériences RDD a révélé:
  • Le prépaiement de 1 $ à 5 $ a augmenté les taux de réponse de 2 à 12 points de pourcentage sans incitatifs
  • Des incitations plus importantes ont conduit à des taux de réponse plus élevés, mais à un taux décroissant
  • L'effet des incitations n'a pas diminué au fil du temps, mais le RR de référence a considérablement baissé
  • Les incitations prépayées à la conversion de refus ont eu à peu près le même effet que celles envoyées au contact initial, mais à un coût moindre
  • Les incitatifs promis de 5 $ et 25 $ n'ont pas augmenté le RR; des incitations plus importantes ont parfois
  • Ces résultats sont généralement cohérents avec d'autres expériences impliquant des enquêtes par l'intervieweur, y compris des enquêtes en face à face

Qualité de la réponse

(La qualité de la réponse est le plus souvent mesurée par la non-réponse aux questions et la longueur des réponses aux questions ouvertes; d'autres mesures seraient souhaitables (par exemple, l'exactitude, la fiabilité))

Deux hypothèses alternatives sur ces effets

  • Singer et Kulka (2002) n’ont trouvé aucun soutien à la baisse de la qualité et un soutien modeste aux

  • Depuis lors, le petit nombre d'études (courrier, RDD et face-à-face) qui ont examiné les effets d'incitation sur la qualité des données n'ont, à une exception près, trouvé aucun effet. L'exception est Jäckle et Lynn (2008), qui ont constaté que les incitations augmentaient la non-réponse partielle dans une étude de panel mais diminuaient la non-réponse unitaire, résultant en un gain net d'informations

  • Cantor, O'Hare et O'Connor (2008) soutiennent que les deux hypothèses doivent être testées en contrôlant des facteurs tels que le sujet de l'enquête, la taille et le type d'incitation (par exemple, prépayé, promis, refus de conversion), et si les études sont croisées -sectionnel ou longitudinal. Pour cela, un bassin d'études beaucoup plus important serait nécessaire

Medway (2012) a récemment examiné cette question en utilisant un ensemble beaucoup plus grand de mesures d'effort (par exemple, non-réponse à un élément, longueur des réponses ouvertes, linéarité, durée de l'interview, sous-déclaration pour filtrer les questions, manque d'attention au libellé de la question, utilisation du tour nombres, effets de commande, etc.) ainsi que l'interaction potentielle d'un certain nombre de caractéristiques démographiques avec la réception d'une incitation

Véhicule: Expérience intégrée à l'enquête JPSM Practicum; N = 1700; RR ~ 16%: la moitié a reçu un incitatif prépayé de 5 $, la moitié aucune

Résultats: - RR: 22% avec incitatif, 11% sans - Coût pour compléter/cas: 57,68 $ avec incitatif, 63,76 $ sans - Différences significatives sur seulement 2 indicateurs d'effort - réduction de la non-réponse des articles et moins de temps pour terminer; aucun n'était significatif une fois que la capacité cognitive et la conscience étaient contrôlées - Aucun effet d'interaction significatif entre les données démographiques et les incitations sur un indice de satisfaction

Dans l'ensemble, cette étude, utilisant des centaines de milliers d'étudiants répondants de plus de 600 collèges et universités, a trouvé peu de preuves que les incitations à l'enquête affectent négativement la qualité des données. Nos analyses ont montré des différences minimes entre les groupes incitatifs et non incitatifs en ce qui concerne la ligne droite, le saut d'élément, le total des éléments manquants et l'achèvement. En contradiction avec la conclusion de Barge et Gehlbach, nous avons constaté, en fait, que les répondants incitatifs avaient en fait une meilleure qualité des données que les répondants non incitatifs. Bien que les effets aient été faibles, ils ont toujours favorisé le groupe d'étudiants incitatifs.

Les enquêtes incitatives peuvent donc augmenter les taux de réponse (super!) - mais peuvent encourager la satisfaction (pas super). Afin de réduire le nombre de personnes qui ne répondent à votre enquête que pour gagner un prix, vous pouvez essayer d'utiliser des récompenses indirectes. En fait, nous savons tout sur les récompenses indirectes [...] au lieu de payer nos répondants au sondage, nous donnons 50 cents à l'organisme de bienfaisance de leur choix chaque fois qu'ils en remplissent un. De cette façon, ils sont moins susceptibles de se précipiter à travers des enquêtes par pur intérêt personnel.

7
dennislees

Oui, les enquêtes et les recherches sont affectées, mais on ne sait pas dans quelle mesure.

Les incitations qui peuvent être échangées contre un avantage financier direct peuvent attirer et attireront les personnes qui en bénéficieront pour la récompense.

Barge et Gehlbach (2012) ont rapporté que les répondants recevant une incitation de 15 $ étaient beaucoup plus susceptibles de satisfaire, comme indiqué par l'augmentation du saut d'objet, de la précipitation (durée plus courte) et de la ligne droite par rapport à ceux qui n'ont reçu aucune incitation. Les auteurs ont également signalé que cette augmentation de la satisfaction était également associée à une diminution de la qualité des données et, plus précisément, de la fiabilité de l'échelle.

Mais,

Cependant, cette étude n'a pas analysé les effets dus aux incitations. Ainsi, l'impact direct des incitations sur les propriétés d'échelle et les estimations des paramètres n'est pas encore bien compris.

Source: cette étude réalisée en 2015.

Le problème est qu'il est très difficile de conclure si ce comportement se produit uniquement à cause de l'incitation, ou si les mêmes personnes afficheraient ce même comportement s'il n'y avait pas d'incitation. Étant donné que l'utilisation d'incitations augmente considérablement le nombre de personnes disposées à répondre à l'enquête, il s'agit de peser le risque et la récompense. Vaut-il la peine de modifier légèrement les résultats, si cela signifie qu'il y aura plus de réponses? Si la réponse est oui, utilisez certainement des incitations. Si des reportages véridiques sont absolument nécessaires, n'utilisez pas d'incitations et n'attirez que ceux qui le souhaitent par pure bonne volonté.

@dennislees a beaucoup plus d'études qui méritent d'être examinées.

1
Wendy Wojenka

La rétroaction est l'un des ingrédients les plus importants pour toute entreprise.

Pourquoi?

Parce que tout le monde veut rassurer qu'ils vont dans la bonne direction. Je lisais un livre sur le lean startup où l'écrivain a invité de nombreux invités à visiter physiquement leur bureau et a essayé de les influencer dans l'utilisation du produit ainsi que de le partager avec leurs amis. Le simple fait de demander à l'invité invité de partager le produit a aidé l'écrivain à comprendre la réaction de cette personne qui correspondait à celle de nombreuses autres personnes invitées de la même manière.

Les commentaires fournissent des informations survivantes ou directrices pour l'entreprise, mais qu'est-ce qui est pour les personnes invitées? ils ont passé du temps et peut-être de l'argent pour entrer et même si vous n'aimez pas votre produit, cela compte toujours comme un aperçu.

L'ajout de récompenses pour la fourniture d'opinions honnêtes attire les utilisateurs car ils estiment qu'ils font quelque chose de productif plutôt que de simplement conseiller pour le meilleur bien.

Mais je vois que de nombreuses entreprises essaient de tromper les gens qui sont prêts à fournir des commentaires pour certaines récompenses, ce qui réduit le nombre d'audience qui sont prêts à consacrer un temps précieux à fournir des commentaires, même si des récompenses y sont associées.

Vous vous coupez les jambes si vous trompez les gens pour obtenir des commentaires.

La meilleure stratégie serait de ne rien promettre ou de promettre une récompense décente.

Par exemple, vous êtes la première personne à fabriquer un spinner fidget et vous voulez savoir si les gens vont jouer avec ou le jeter.

Commencer par le public cible principal avec le groupe d'âge (12-18) ans

Récompense - 3 Fidget Spinners.

Un peu au-delà de la tranche d'âge de votre public cible (34-30) ans

Récompense - 3 filateurs fidget et 2 billets de cinéma (avec pop-corn).

Par conséquent, le simple fait d'ajouter des récompenses passionnantes ne suffira pas. Promettre un i-phone à l'une des 100 personnes vous fera 99 clients en colère à la fin, mais pour le même coût si vous êtes en mesure de fournir à 100 personnes votre produit et une incitation peu mais utile, alors alléluia, vous avez 100 invités heureux prêts à recevoir plus de commentaires dans le futur. De plus, 100 personnes ont votre produit qu'elles partageront avec leurs proches et amis.

Cela dépend totalement de la façon dont vous élaborez les stratégies de vos enquêtes pour en tirer plus d'avantages.

Ajouter des récompenses à l'enquête vous donnera certainement plus d'attraction, mais pour en tirer parti, vous devez penser à ce que les récompenses devraient être.

0
Anupam Pareek