Comment valider une IA à grande échelle sans biaiser les données? Des techniques issues de la foule?
Je suis à la recherche d'un emploi qui nécessite la validation de l'architecture d'information de n très grand site de santé et de protection sociale d'environ 6500 pages.
Voici mon approche:
- Analyser la recherche existante: le domaine est la santé et les services sociaux - je ne doute pas qu'il y aura une multitude de données de recherche pour diverses données démographiques qui éclaireront quelles sections sont particulièrement importantes
- Focus étroit pour les tests: 6500 pages est impossible mais, à la lumière des recherches de la phase 1, nous pouvons restreindre le focus à x sections clés
- Effectuer un tri de carte avec x utilisateurs pour créer une IA prototypique
- (Retester - facultatif)
Préoccupations: le site s'adresse à une population très large. Pour effectuer le tri de la carte correctement, de nombreux utilisateurs devront produire quelque chose de statistiquement significatif, mais le client a un budget limité, ce qui peut ne pas être possible.
Voici donc la question:
Pour une architecture d'informations volumineuse et complexe, avec de nombreux types d'utilisateurs différents, comment peut-on valider l'IA sans fausser les données en raison de la petite taille de l'échantillon? Existe-t-il des techniques de crowdsourcing à grande échelle bon marché?
Fondamentalement, la validation pour les grandes IA est similaire à celle d'autres situations. Faites un tri par carte fermée.
Autres commentaires sur votre problème: consultez l'article Mise à l'échelle de la méthode de tri des cartes sur plus de 500 éléments: restructuration du centre d'aide Google AdWords par Nakhimovsky et al pour des idées sur la façon d'effectuer des tris de cartes avec un grand nombre d'éléments . En substance, vous devez obtenir le nombre d'éléments à trier en un nombre gérable.
En ce qui concerne l'étendue de la démographie, je pense que vous avez deux options raisonnables: soit faire un tri de carte avec beaucoup d'utilisateurs et utiliser les résultats comme base pour IA, soit en faire un pour chacun des principaux groupes d'utilisateurs et utiliser ces résultats comme base de conception. Si je pensais que faire des tris séparés pour chaque groupe fournirait des informations supplémentaires qui seraient réellement utilisées dans le processus de conception, je le ferais. Sinon, je ferais juste un tri avec plus d'utilisateurs.
Sur le nombre d'utilisateurs lors du tri des cartes: vous auriez besoin d'environ 15 à 20 utilisateurs (selon Tullis et Wood, 2004) par groupe d'utilisateurs pour obtenir des résultats raisonnables. J'utiliserais probablement l'un des services de tri de cartes sur le Web, de cette façon, vous pouvez obtenir un nombre raisonnable d'utilisateurs à peu de frais, car la rémunération des utilisateurs peut être moindre, car le tri sur le Web est plus pratique. L'inconvénient est que vous n'obtenez pas les données qualitatives sous forme de commentaires des utilisateurs et de raisonnement du genre. L'avantage est que les données quantitatives devraient être comparables au tri sur papier ( Bussolon et al, 2006 )
Quoi qu'il en soit, c'est du haut de ma tête.
Remarque: je représente Atelier optimal , l'entreprise qui fabrique les outils que je propose ci-dessous.
Si votre budget le permet, je vous suggère de commencer par un tri de carte modéré avec un petit nombre de participants (3-15). Vous apprendrez probablement quelque chose sur les étiquettes de vos cartes et la couverture du contenu au cours de ce processus. Si le budget est serré, vous pouvez ignorer cette étape (ou tester avec moins de personnes) et allouer plus de ressources aux tests utilisateurs à un stade ultérieur.
Effectuez ensuite un tri de carte OPEN à distance et non modéré à l'aide d'un outil tel qu'OptimalSort avec environ 50 cartes et autant de participants que nécessaire pour obtenir suffisamment de données pour vous et votre client avoir confiance dans vos décisions.
S'il est clair que certains groupes d'utilisateurs ne sont intéressés que par certains contenus, vous pouvez envisager d'effectuer des tris de cartes spécifiques pour des groupes spécifiques d'utilisateurs. Le tri des cartes vous donnera une bonne idée de vos catégories de niveau supérieur et des indices pour les niveaux inférieurs. Vous pouvez répéter les tris de cartes à des niveaux de contenu inférieurs si vous pensez que vous n'avez pas suffisamment d'informations pour créer l'arborescence complète à ce stade.
Une fois que vous avez formé votre IA proposée/prototype, utilisez un outil de test d'arbre, tel que Treejack, pour valider votre IA dans un contexte basé sur les tâches. C'est au lieu d'un tri de carte fermé. Les tests d'arbre sont décrits dans ce article de Dave O'Brien . Vous devrez peut-être effectuer plusieurs tests d'arborescence pour affiner votre IA avant de passer à d'autres étapes du projet (alors n'utilisez pas toute votre base de données de participants potentiels à l'étude dans le premier hit). Il peut également être utile de segmenter vos utilisateurs et de tester chaque segment avec des tâches appropriées par rapport à la même arborescence (IA).