Lorsque vous déplacez un site via une redirection 301, devez-vous configurer un fichier robots.txt empêchant les robots d'analyser l'ancienne adresse?
Un site sur lequel je travaille a déplacé un sous-domaine vers un autre sous-domaine via une redirection 301. Toutefois, lors de la vérification du fichier robots.txt de l'ancien sous-domaine, il dispose d'un fichier robots.txt qui interdit aux robots d'exploration de moteurs de recherche de l'explorer.
Est-ce le bon choix? Je crois que non, car les robots d'exploration ne pourront pas explorer l'ancien site pour voir les 301 codes d'état.
Vos soupçons sont justes, avec le raisonnement exact que vous avez mentionné. Si vous empêchez les robots d'accéder à l'ancien site, ils ne pourront pas voir la redirection 301.
Je crois que non, car les robots d'exploration ne pourront pas explorer l'ancien site pour voir les 301 codes d'état.
Oui, exactement - ce n'est pas le "bon geste". Si vous implémentez une redirection 301, probablement pour préserver le référencement, le blocage des URL redirigées empêche les moteurs de recherche d'afficher la redirection et d'indexer le nouveau contenu.
Je garderais le fichier robots.txt tel quel, mais assurez-vous que l'ancienne et la nouvelle page ont la version appropriée des balises Canonical. Cela aidera le moteur de recherche à comprendre ce qui s'est passé.