Est-il prudent de bloquer les URL redirigées (mais toujours liées) avec le fichier robots.txt?
J'ai un site Web qui a toutes les URL optimisées et 301 redirigées d'URL désagréables à propres. Toutefois, partout dans le site, les URL non nettoyées sont liées dans les menus, le contenu, les produits, etc. Google a actuellement toutes les URL propres indexées, ainsi que quelques URL non nettoyées.
Donc, le site a toujours lié partout les anciennes URL (idéalement, ce ne serait pas le cas, mais c'est comme ça que c'est GAB).
Je voudrais bloquer les URL impures avec robots.txt.
La question: si je bloque ces URL impures avec le robots.txt, lorsque le site Web entier est lié à eux (mais ils redirigent tous vers la version épurée), cela affectera-t-il l'état de l'indexation?
Si vous n'autorisez pas les URL non nettoyées dans le fichier robots.txt, les robots polis ne visiteront plus ces URL. Ainsi, ils ne remarqueront jamais que vous les redirigez vers d'autres URL qu'ils seraient autorisés à analyser. Les bots qui ne connaissent pas vos propres URL ne pourront accéder à ces pages que s’ils sont directement liés à la variante propre (et non à la variante bloquée non bloquée).
Donc, vous devriez pas les bloquer dans le fichier robots.txt.
Comme vous redirigez vos URLs impures vers des URL propres correspondantes, vous n'avez rien à faire. Les robots sauront quoi faire. Si certains moteurs de recherche ont encore des URL impures indexées, la mise à jour de leur index ne devrait être qu'une question de temps.
Il n'y a aucun besoin de bloquer quoi que ce soit dans robots.txt ces jours-ci, utilisez simplement rel="canonical" sur vos pages et vous ne risquez jamais de dupliquer les pages, qu'elles soient accessibles via un serveur impur ou en clair, car le canonique le dira. Google le préféré.
En ce qui concerne les URL non nettoyées indexées, si vous utilisez canonique, celles-ci se désindexeront/se mettront à jour, mais si vous n'avez pas de remplacements de page et que vous voulez simplement les supprimer, utilisez alors les deux noindex dans votre tête HTML et disallow: /unclean-url/ dans votre robots.txt (Google recommande l'utilisation de robots.txt et noindex).
Aussi, à des fins de référencement, vous devez corriger ces URL dès que possible, en raison de la perte de jus de vos pages par la redirection 301.
La redirection ne fonctionnera pas sur ces URL bloquées. Après avoir ajouté la redirection 301, vous n'aurez plus besoin d'appliquer canonique. Cela n'affectera pas les sites Web que j'ai vus de grandes marques qui modifiaient l'URL et effectuaient des millions de redirection, exactement comme le faisait SEOmoz après avoir changé son nom en Moz.