Recherche et balises pour le fichier robots.txt
Après avoir créé un blog sur blogspot.com, j'ai ajouté le site à mes outils pour les webmasters de Google.
J'ai remarqué une erreur: "Restricted by robots.txt" et j'ai examiné un peu la question. J'ai trouvé dans le fichier robots.txt de blogspot que Google empêche le répertoire/search par défaut afin d'éviter les doublons dans leur moteur de recherche. Comme les balises se trouvent sous/search/label/SOME_TAG, elles ne sont pas non plus indexées.
Je gère différents sites, dont l’un est un site e-commerce important pour moi. Pour chaque produit, nous utilisons des tags. Chaque balise mène à un site distinct tel que/tags/tag1/et répertorie tous les produits liés à cette balise.
Et cela m'amène à ma question:
Dois-je également bloquer la recherche et/ou les balises de pages sur mes sites à l'aide de robots.txt?
Je pense que Google pourrait punir mon pagerank/résultats pour l'utilisation de ce contenu "de mauvaise qualité". Cependant, je pense qu'ils sont très utiles. Nous fournissons une brève description de chaque étiquette et la manière dont les produits répertoriés peuvent être utilisés pour résoudre le problème décrit par l'étiquette.
De plus, les utilisateurs atterrissant sur les pages de balises ont des taux de rebond très élevés (> 90%), ce qui est de loin supérieur au taux de rebond moyen.
Alors, quelle est la meilleure pratique?
Je trouve un grand nombre de pages dans les résultats de recherche de Google provenant des différents sites StackExchange, à savoir les pages de balises, les questions les plus fréquemment posées, etc. Il ne semble donc pas que Google les considère comme étant de qualité médiocre. Je les laisserais non bloqués à moins que vous ne voyiez une sorte de problème tel qu'une mise à jour de Panda ayant un effet très négatif sur votre classement. Sinon, ces pages sont une source de trafic et, bien que le taux de rebond soit élevé, vous recevez des visiteurs qui s’introduisent davantage dans votre site grâce à ces pages figurant dans les résultats de la recherche.