Google respecte-t-il un en-tête de redirection pour le fichier robots.txt avec un nom de fichier différent?
En ce qui concerne les requêtes robots.txt, Google états "Les redirections seront généralement suivies jusqu'à ce qu'un résultat valide puisse être trouvé".
Cela signifie-t-il que, si je crée une redirection 301 pour http://www.example.com/robots.txt vers http://www.example.com/myrobots.txt, Google analysera le contenu servi de http://www.example.com/myrobots.txt comme étant valide robots.txt contenu? Ou bien le fait que l'URL de résultat ne soit pas nommée robots.txt rend ce résultat non valide et sera donc ignoré?
Les robots suivent le Standard d’exclusion des robots , également appelé Protocole d’exclusion des robots. Selon le WC3, les directives de robot doivent être spécifiées dans un fichier avec l'URI contenant "/robots.txt", le tout dans une chaîne de minuscules, située dans le répertoire racine de votre site. Pour plus d'informations à ce sujet, voir: WC3 - Le fichier robots.txt
Comme indiqué dans ce document: The Robot will simply look for a "/robots.txt" URI on your site. Par conséquent, certains robots peuvent ne pas reconnaître un fichier robots.txt avec un nom de fichier ou un emplacement différent.
Dans les outils pour les webmasters de Google, vous pouvez afficher l'URL du fichier robots.txt de votre site sous Explorer-> URL bloquées , comme indiqué ici: - Outils Google pour les webmasters - Bloquez ou supprimez des pages à l’aide d’un fichier robots.txt (sous la flèche "Tester un fichier robots.txt").
Si votre fichier robots.txt est manquant, il ne l'a probablement pas trouvé ni reconnu. Vous pouvez le reconfirmer en listant votre URL à tester et en cliquant sur "Test".