Robots.txt Blocage des balises de blog?
Les balises génèrent des doublons sur mon site Web et je veux m'assurer de ne pas les indexer. Est-ce la bonne syntaxe à utiliser pour empêcher l'exploration de ces balises?
User-agent: *
Disallow: /blog/tag
2009 - Google, Bing et Yahoo annoncent la prise en charge de liens canoniques
Il n'est pas nécessaire d'utiliser robots.txt pour résoudre le problème du contenu en double. En février 2009, Google, Yahoo et Microsoft (pour leur moteur de recherche Bing) ont annoncé la prise en charge de l'élément de lien canonique qui vise à résoudre le problème du contenu en double.
Rel = "canonique" à la rescousse
Donc, plutôt que de bloquer Google et les autres moteurs de recherche en indexant les pages en résultats, vous devriez choisir d'utiliser Canonicalization en utilisant <link rel="canonical" href="http://www.yourdomain.com/path-here" /> Cela indiquera à Google et aux autres moteurs de recherche quelles sont les pages maîtres et celles qui sont en double, ce qui signifie ne recevra aucune gifle de Google.
Des plugins SEO facilitent la canonisation
Il existe de nombreux plugins pour divers systèmes de gestion de contenu qui automatisent ce processus pour vous, par exemple, en supposant que vous utilisez WordPress, vous pouvez installer Yoast SEO , ce qui garantira que toutes les pages utilisent canoniques et les pages telles que les balises ne nuiront jamais à vos pages réelles. J'ai utilisé de nombreux moteurs de CMS, donc si vous utilisez Drupal, Joomla, Blogengine ou tout autre, faites-le moi savoir et je vous recommanderai des alternatives.
Références:
Je vous recommande de lire davantage sur canical pour vous donner une indication plus claire de ce que cela peut faire pour vous:
D'habitude, je viens d'ajouter une balise méta noindex aux pages de balises. Mais votre méthode dans le fichier robots.txt devrait également fonctionner, le seul inconvénient étant que vous aurez besoin d'ajouter manuellement chaque balise, sauf si elles se trouvent dans un sous-dossier qui leur est propre, à savoir /blog/tags/tag, auquel cas vous pourriez. ajoutez simplement Disallow: /blog/tags/*.