Redirection du fichier robots.txt lors du transfert vers un nouveau domaine
Je déplace un site vers un nouveau domaine, vers un tld local. J'ai déjà tout redirigé avec succès vers le nouveau domaine, à l'exception du robots.txt. Ma question serait la suivante: faut-il rediriger le olddomain.com/robots.txt vers newdomain.com/robots.txt avec une redirection 301? Existe-t-il une pratique courante dans cette situation?
C'est une question très intéressante. Il m'a fallu quelques minutes pour rechercher une déclaration officielle de gary Tweet. .
Lorsque Google voit le statut 404/30X, Google ignorera complètement votre fichier robots.txt. C'est comme ne pas avoir de fichier robots.txt.
Mais si Google constate des erreurs d'état du serveur 50X ou 50X, Google cessera d'analyser votre site, car vous êtes peut-être occupé à configurer votre serveur.
Donc, ne redirigez pas votre fichier robots.txt ou si vous le faites, assurez-vous de bloquer la même chose dans le nouveau site robots.txt.
Le fichier robots.txt de l'ancien domaine est maintenant inutile car il aide Google à explorer le site Web du domaine actuel.
Donc, si vous redirigez correctement olddomain.com/* vers newdomain.com/*, le fichier robots.txt sera précédé, et vous devrez définir des règles appropriées dans votre nouveau fichier robots.txt (modifiez le contenu si vous modifiez également le format cms ou url). ...)
j'espère que ça aide ...