En train de déplacer un site d'un sous-domaine à un autre. Pour beaucoup de sous-dossiers, un 301 redirige vers leurs pages respectives sur le nouveau site. Cependant, que dois-je faire avec les sous-domaines et les pages de l'ancien site qui n'ont pas de page comparable similaire sur le nouveau site. Je souhaite que Google cesse de gaspiller le budget d'exploration sur ces pages. Donc, un fichier robots.txt serait utile, mais je souhaite également que ces pages soient supprimées de l'index et que le fichier robots.txt ne le fasse peut-être pas. Les méta-robots noindollow et noofollow permettraient-ils à la fois de gaspiller un budget d'exploration et de sortir de l'indice?
Il y a au moins deux choses que vous pouvez faire avec des pages obsolètes: redirigez-les (généralement via une redirection permanente 301) ou laissez-les passer à un 404, comme l'a dit Stephen.
Dans la plupart des cas, je redirigerais pour deux raisons:
Vos anciennes pages et sous-répertoires/catégories peuvent contenir du jus de liaison. Vous pouvez utiliser Open Site Explorer de Moz pour voir leurs profils de lien entrant et leur autorité (telle que perçue par Moz). Vous souhaitez transmettre ce profil de lien et cette autorité à une autre page de votre site.
Si ces pages ont été indexées, elles peuvent rester dans l’index pendant un moment avant que les moteurs de recherche les suppriment. Vous souhaitez que les utilisateurs susceptibles de rencontrer ces pages accèdent à une autre page de votre site.
Après un certain temps, lorsque les moteurs de recherche réalisent que vos pages sont redirigées, ils retirent les anciennes pages de l'index.
Lors de la redirection, vos anciennes et nouvelles pages ne doivent pas nécessairement correspondre à 1: 1. Si la section est en quelque sorte liée, vous pouvez toujours rediriger, c'est-à-dire si vous pensez que la nouvelle section bénéficiera à l'utilisateur qui cherchait l'ancienne.
Si rien ne vous convient, vous pouvez rediriger vers la page d'accueil ou une page de contact. Vous ne serez pas pénalisé au pire, la redirection ne passera pas de jus de lien. (Si cela vous inquiète vraiment, vous pouvez utiliser une redirection temporaire 302, mais 301 réussit mieux à supprimer des éléments de l'index.)
Il est également judicieux de laisser passer un 404, s'il n'y a absolument rien de sémantiquement similaire à la page que vous supprimez, ou si cette page a un mauvais profil de backlink ou génère très peu de trafic. Dans ce scénario, il sera éventuellement supprimé de l'index. Je m'assurerais que votre page 404 est utile pour l'utilisateur, en affichant des liens suggérés et le nav, par exemple.
Vous ne voulez pas utiliser noindex, nofollow dans ce cas, car il ne sert à rien de garder cette page sur le serveur. La solution robots.txt n'est pas une solution, car le fait de ne pas autoriser les répertoires que vous avez supprimés créera néanmoins des règles redondantes et, comme vous l'avez dit, ne les supprimera pas nécessairement de l'index.
Quelle que soit la méthode choisie, exécutez un site: requête exemple.com de temps en temps et approfondissez les SERP. Si vous voyez des pages que vous ne voulez pas toujours dans l'index, vous pouvez suivre un cours différent et demander également la suppression manuelle via Google Search Console et Bing Webmaster Tools.
que dois-je faire avec les sous-domaines et les pages de l'ancien site qui n'ont pas de page comparable similaire sur le nouveau site.
Si les pages restent en ligne, ajoutez un fichier robots.txt ou ajoutez une balise méta noindex, nofollow, cela arrêtera l'exploration de cette page.
La suppression des pages du serveur supprime automatiquement les pages de l'index.
En outre, une page 404 bien rédigée avec des liens pertinents aidera les utilisateurs qui ont encore ces liens enregistrés.