Comment dire aux robots d'oublier un site Web et de le réindexer à partir de zéro
Je me demandais s'il y avait quelque chose que je pourrais ajouter au robots.txt ou au plan du site pour dire aux robots d'oublier complètement tout ce qu'ils savent sur un site Web et de l'indexer à partir de zéro?
Contexte: Après avoir remplacé un site Web fait dans CMS-x par un nouveau fait dans CMS-y, 99% des pages/liens/ressources seront partis ou déplacés vers différents emplacements, et même s'il existe des redirections 404/410 appropriées en place , il serait toujours préférable que des robots indexant le site Web n'essaient pas d'accéder à d'anciens éléments.
Fondamentalement, ceci: Comment dire à Google qu'un article de blog a été mis à jour? mais à l'échelle du site
Ce n'est pas possible. Vous devez mapper vos anciennes URL aux nouvelles avec des redirections pour le référencement et l'expérience utilisateur.
Google n'oublie jamais les anciennes URL, même après une décennie. Lorsque vous migrez vers un nouveau CMS, vous devez implémenter les redirections au niveau de la page
S'il n'y a pas d'équivalent pour une page particulière, vous pouvez le laisser 404 et Google le supprimera de l'index. L'utilisation de "410 Gone" à la place oblige Google à supprimer les URL de l'index dès qu'elles sont explorées sans la période de grâce de 24 heures que Google utilise pour "404 Not Found".
Il n'y a aucune directive pour dire aux bots d'oublier un ancien site dans la console de recherche ou dans robots.txt.
Et si vous ne redirigez pas?
La redirection peut s'avérer trop lourde ou votre nouveau CMS peut ne pas faciliter la mise en œuvre de la redirection.
Si vous choisissez de ne pas implémenter les redirections, ce sera quelque chose comme recommencer. Google verra que vos anciennes URL renvoient le statut 404 et les supprimera de l'index de recherche.
Vos nouvelles URL seront éventuellement indexées, mais cela peut prendre un certain temps. La modification de toutes vos URL sans redirection est un signe important que votre site n'est pas stable et n'est pas fiable. Tous vos classements seront perdus et votre site recommencera.
Googlebot continuera d'explorer les anciennes URL pendant des années. Pour cela, l'espoir jaillit éternellement que vous puissiez un jour remettre ces pages.
Si vous redirigez, tous vos liens entrants, les signets des utilisateurs et la plupart de vos classements actuels seront conservés.
Pourquoi?
Alors pourquoi les moteurs de recherche n'ont-ils pas de bouton "reset"? Parce qu'il y a presque toujours de meilleures options. Dans votre cas, il est préférable de rediriger.
Dans le cas où un site est pénalisé, Google ne fournit pas de bouton de réinitialisation car cela pourrait supprimer toutes les pénalités.
Comment?
Alors, comment implémentez-vous les redirections? Vous avez besoin d'une liste de vos anciennes URL. Vous pouvez avoir un plan du site de votre ancien site avec lequel vous pouvez commencer. Vous pouvez également obtenir la liste à partir des journaux de votre serveur, de Google Analytics ou même de la console de recherche Google.
Si vous avez planifié à l'avance, vos URL dans votre nouveau CMS seront similaires et vous pouvez implémenter une règle de réécriture pour les gérer. S'il existe un modèle entre l'ancienne et la nouvelle URL, il peut s'agir d'une seule ligne dans un fichier . Htaccess pour émettre les redirections pour l'ensemble du site.
Si vous devez rechercher manuellement les nouvelles URL et en mapper des milliers une par une, vous pouvez examiner la fonctionnalité RewriteMap.