Quand faut-il ajuster la fréquence d'utilisation dans les enquêtes de satisfaction qui utilisent l'échantillonnage d'interception?
Un problème bien connu de l'échantillonnage "intercepté" est qu'il ne s'agit pas d'un échantillon aléatoire de la population de clients. Si vous étiez une épicerie interrogeant 1/20 acheteurs à leur sortie du magasin, par exemple, un client qui visite généralement deux fois par semaine est deux fois plus susceptible de participer à l'enquête qu'un client qui visite généralement une fois par semaine.
Parfois, vous ne vous en souciez pas, car la transaction est la base que vous souhaitez suivre. Les épiceries ne font généralement aucun ajustement car, sous réserve de certaines hypothèses simplificatrices, une personne qui visite deux fois par semaine est exactement deux fois plus importante qu'une personne qui visite une fois par semaine.
Parfois, vous vous en souciez, car votre image et la façon dont les gens parlent de vous sont basées sur l'ensemble de votre population, et pas seulement sur vos utilisateurs les plus fréquents. Si vous souhaitez que la base de l'analyse soit l'utilisateur/client individuel, vous devrez pondérer les répondants en fonction de leur fréquence de visites ou modifier votre procédure d'échantillonnage.
J'essaie de décider si je dois m'en soucier ou non. Je mets à jour une enquête de satisfaction pour un site Web qui a actuellement un certain pourcentage de chances d'apparaître lorsque l'utilisateur se déconnecte. Certains utilisateurs visitent quotidiennement ou plus que quotidiennement; certains visitent moins d'une fois par semaine. Les utilisateurs plus fréquents ont plus de valeur, mais ce n'est pas linéaire; un visiteur quotidien est <7x plus précieux qu'un visiteur hebdomadaire.
Si vous construisiez une enquête de satisfaction pour un site Web avec des utilisateurs réguliers dont la fréquence d'utilisation varie, baseriez-vous l'analyse sur les utilisateurs ou les visites?
J'examine votre problème dans une perspective légèrement différente. Veuillez me corriger si je me trompe, mais je pense que vous voulez savoir si vous devez accorder une importance particulière aux données collectées auprès des visiteurs fréquents par rapport aux visiteurs peu fréquents.
Une note de 5 sur 5 par un utilisateur fréquent peut rendre votre site idéal pour les utilisateurs fréquents, mais pas pour un utilisateur peu fréquent. Au lieu d'attribuer de l'importance à l'enquête de satisfaction des gens sur la base de leurs visites, demandez ce qui rend un visiteur fréquent heureux ou mécontent et comparez cela à ce qui rend un utilisateur peu fréquent heureux ou mécontent.
Généralement, les différences pour les produits logiciels/sites Web, etc. seront les suivantes: Utilisateur peu fréquent: recherche la facilité d'apprentissage à utiliser le produit et la trouvabilité des choses (facilité de savoir quoi faire). Utilisateur fréquent: recherche les raccourcis, la vitesse de réalisation de sa tâche quand il sait quoi faire.
J'espère que cela t'aides.
L'analyse dépendra de ce que vous voulez retirer de ces données. Comme l'a souligné Viraj, il n'y a pas nécessairement un véritable "niveau de satisfaction" mais différents groupes d'utilisateurs ayant des attentes différentes et une expérience différente.
Vous n'avez pas nécessairement besoin de décider à l'avance si vous devez vous en soucier ou non. Il est probablement plus intéressant de collecter des données pour éclairer cette décision, par exemple en incluant une question sur la fréquence à laquelle les répondants visitent le site. Cela vous permettrait de faire deux ou trois choses:
- Voyez combien la satisfaction (ou tout autre résultat de votre enquête) dépend de la fréquence d'utilisation déclarée. Si cela ne fait pas une grande différence, vous n'avez pas vraiment besoin de vous inquiéter et le reste de la discussion est théorique.
- Utiliser la fréquence d'utilisation dans d'autres analyses: observations de poids pour estimer la satisfaction moyenne des utilisateurs, l'inclure en tant que modérateur lors des tests de modifications, etc.
Rien de tout cela n'est une décision en noir et blanc, tout ou rien. Par exemple, si vous regardez l'effet d'un changement et que vous voyez qu'il a un impact positif sur la satisfaction des utilisateurs peu fréquents mais pas pour les utilisateurs fréquents, vous voudrez peut-être comparer l'ampleur de l'effet dans les deux groupes ou présenter à la fois l'utilisateur et visiter les moyennes.