"X-Robots-Tag: noindex" sur une réponse HTTP 301
Je comprends qu’une ressource avec X-Robots-Tag: noindex oblige certains moteurs de recherche, y compris Google, à ne pas indexer davantage la ressource. Je comprends également qu’une réponse HTTP 301 force les moteurs de recherche à utiliser l’URL redirigée au lieu de l’URL d’origine pour faire référence à la ressource.
Mais que se passe-t-il si X-Robots-Tag: noindex et le code d'état 301 apparaissent sur la même réponse? Il est probable que l'URL d'origine ne sera plus indexée, mais est-ce que cela fera en sorte que l'URL redirigée ne sera plus indexée? Cette possibilité n'est pas mentionnée dans le spécification X-Robots-Tag .
Un en-tête X-Robots-Tag: noindex sur une URL de redirection 301 ne devrait avoir aucun effet.
- Les moteurs de recherche n'indexent de toute façon pas 301 URL de redirection. Donc, cette balise leur dit seulement ce qu'ils savent déjà.
- La cible de la redirection ne devrait pas être indexée. Si tel était le cas, cela pourrait permettre à un attaquant de se rediriger vers un concurrent portant cette en-tête et de désindexer la concurrence.
Une page Web peut renvoyer un code de réponse en-tête 301 qui indique simplement à un bot de ne pas prêter attention à quoi que ce soit sur cette page, mais de regarder le chemin de redirection et de transférer le trafic via cette redirection.
Par la suite, utiliser une balise noindex sur une page que vous redirigez est inutile car elle ne sera pas vue de toute façon.
Lors de la redirection permanente (301), l’important est uniquement de savoir quelle réponse l’URL de destination de la redirection renvoie.
Les X-Robots-Tag: noindex ont un moyen. J'ai redirigé beaucoup de pages et après plusieurs mois, l'URL d'origine apparaît toujours dans l'index avec le contenu de la page de destination. Maintenant, j'ai ajouté la balise X-Robots-Tag: noindex et j'attends de voir les résultats.