Webmaster Google trouver l'URL avec les redirections
Je me gratte la tête à ce sujet depuis des mois. Nous avons environ 100 liens non trouvés avec 404 codes de réponse.
Le code de réponse est correct, car ces pages n’existent plus. Cependant, ce qui est déroutant lorsque je regarde pour voir quelles pages elles sont liées est en train d’appeler depuis une page qui n’existe pas et qui contient des redirections ou du plan du site.
Par exemple, si la page "/ red-boots" avait un code de réponse de 404. Je vérifie d'où provient le lien et il indique/boots/shoes "ainsi que le plan du site.
Lorsque je vérifie l'URL "/ boots/shoes", il a une redirection vers "/ chaussures" mais Google ne voit pas cette redirection, il se contente de retrouver les anciens liens sur "/ boots/shoes".
J'ai régénéré un plan du site et cela ne m'a pas aidé. Je les ai tous marqués comme étant fixes et au bout de 2 jours, ils étaient tous de retour. Donc, si quelqu'un pouvait expliquer un peu pourquoi Google recherche des pages non publiées et ne suit pas les redirections, ce serait génial.
Il existe deux types de redirections:
1) 301: redirection permanente -> Si vous avez ajouté cela, alors Google saura que vous avez définitivement déplacé cette page et la stockera dans son index.
2) 302: redirection temporaire -> Ceci ne permettra pas au robot d'indexer la redirection de manière permanente.
Premièrement, assurez-vous que la redirection est une redirection permanente. Google prend également un certain temps (une semaine, voire un mois) pour refléter ces changements de redirection. Ces liens obsolètes/ancien comportement sur les pages continueront à existeront pendant un certain temps et finiront par quitter l'index.
De plus, si certaines de vos pages sont définitivement arrêtées, il est préférable de jeter le code HTTP 41 pour informer le robot que vous avez supprimé cette page du site. Le robot devrait donc également le supprimer de l'index. Dans le cas du 404, il continue de s'afficher sur cette page car il le considère comme un problème temporaire sur le site.
Vérifiez les sources à partir desquelles les anciennes pages sont toujours liées. Il se peut que vous ayez mis à jour le plan du site, mais certaines des anciennes pages que vous n’avez pas supprimées continuent d’avoir des liens anciens et par conséquent, crawler les atteint. Si vous utilisez l'outil Webmaster, il vous montrera tous les détails dans les liens de l'onglet dans la section des erreurs.
J'ai vu cela sur plusieurs sites qui existent depuis un moment. Les liens et les URL changent avec le temps, mais Google n'a pas tendance à les oublier. Parfois, l'URL "Lié de" a disparu depuis des années, mais Google l'indique toujours de temps en temps, probablement pour s'assurer de ne rien manquer.
Comme @abhinsit le mentionne, vous pouvez utiliser un en-tête 410 sur tout ce qui est parti définitivement pour de bon. Google peut revient toujours pour vérifier à l'avenir, mais généralement, il est probablement prudent de les ignorer.