Googlebot peut-il gérer le fichier robots.txt avec une redirection 302?
Dans Google Webmaster Tools, j'obtiens une erreur:
Google n'a pas pu explorer votre site, car nous n'avons pas pu accéder au fichier robots.txt de votre site.
L'aide associée dit:
Si votre fichier robots.txt existe mais est inaccessible (en d’autres termes, s’il ne renvoie pas de code d’état HTTP 200 ou 404), nous reporterons notre analyse au lieu de risquer d’explorer des URL non autorisées.
Mon site 302 redirige tout le trafic http vers HTTPS - l'accès à _http://blah/robots.txt_ est donc redirigé sur 302 vers _https://blah/robots.txt_, de sorte qu'il ne renvoie pas littéralement 200 ou 404 comme demandé ci-dessus.
Ma question - Googlebot s’oppose-t-il à la redirection 302 lorsqu’il tente d’accéder au fichier robots.txt?
Remarque: une grande partie de la configuration du serveur est hors de mon contrôle et est configurée de cette manière en raison de l'informatique d'entreprise. Je ne suis que le pauvre gars qui a besoin que cela fonctionne malgré les contraintes.
Ces citations que j'ai prises de Google.
Emplacement du fichier et plage de validité
Le fichier robots.txt doit figurer dans le répertoire de niveau supérieur de l'hôte, accessible via le protocole et le numéro de port appropriés. Les protocoles généralement acceptés pour robots.txt (et l'exploration de sites Web) sont "http" et "https". Sur http et https , le fichier robots.txt est récupéré à l'aide d'une requête GET HTTP non conditionnelle.
et aussi
3xx (redirection)
Les redirections seront généralement suivies jusqu'à ce que un résultat valide puisse être trouvé (ou une boucle soit reconnue). Nous suivrons un nombre limité de sauts de redirection (la RFC 1945 pour HTTP/1.0 autorise jusqu’à 5 sauts), puis nous l’arrêtons et le traitons comme un 404.
Vous pourriez/devriez peut-être lire la source sur Google .
Probablement oui, car vous utilisez une redirection 302 qui est une redirection temporaire que Google recommande de ne pas utiliser. Vous devriez utiliser une redirection 301 permanente pour rediriger HTTP vers HTTPS.