Devrais-je empêcher les moteurs de recherche d’indexer les pages de balises / catégories?
Sur mon site, je n'ai actuellement aucune règle spéciale pour les moteurs de recherche. C'est un blog, généré de manière statique à l'aide d'un programme Python. Lorsque je recherche certains de mes articles sur Google, les résultats incluent généralement une balise ou une page de catégorie. Parfois, il est même en avance sur l'article lui-même. Évidemment, comme ces liens ne porteront pas toujours l'article, ce ne sont pas les résultats sur lesquels je veux que les gens cliquent.
Donc, je pense mettre noindex sur ces pages. Y a-t-il des inconvénients à le faire? Est-ce possible via le fichier robots.txt ou dois-je l'ajouter à tous les modèles pertinents? Tout ce que je peux trouver pour robots.txt, ce sont des moyens d’empêcher le moteur de recherche d’analyser ces pages, ce qui n’est pas ce que je veux. Bien que je ne veuille pas qu’elles soient indexées, c’est le seul moyen sûr de trouver tous les articles de mon blog.
N ° lisez ceci (tout cela; il y a beaucoup de choses utiles), bien que cela soit particulièrement pertinent ici:
Google ne recommande plus de bloquer l'accès des robots d'exploration afin de dupliquer le contenu de votre site Web, que ce soit avec un fichier robots.txt ou d'autres méthodes.
[...]
Le contenu dupliqué sur un site ne constitue pas un motif d’action sur ce site, sauf s’il apparaît que l’intention du contenu dupliqué est d’être trompeuse et de manipuler les résultats du moteur de recherche.
Les moteurs de recherche sont conscients que les sites (en particulier les blogs) ont des pages qui ne sont en fait que des listes d'extraits. Ils cherchent plus que cela dans la mesure où le contenu dupliqué.
Ma première réponse est la suivante: pourquoi voudriez-vous moins d’exposition sur Google?
Les gens vont sûrement continuer à lire l'article, même s'ils doivent passer par la page de liste. Et c'est une bonne chose.
Peut-être que plutôt que d'empêcher Google d'indexer certaines pages, pourquoi ne pas travailler sur les articles pour les améliorer. Regardez le texte sur les pages ainsi que les mots-clés, le titre et la description (tous les éléments de base du référencement que vous connaissez sûrement).