web-dev-qa-db-fra.com

Google prétend ne pas trouver mon fichier robots.txt

Comme je l'ai dit dans le titre, la console Webmaster de Google prétend ne pas trouver le fichier robots.txt de ma page d'accueil et ne l'exploitera donc pas.

Mais il existe un fichier robots.txt ( https://soundhaus-band.de/robots.txt ). Et Google peut lire le contenu correct du fichier robots.txt dans le testeur de robots.

J'ai également essayé d'extraire le fichier robots.txt en tant que Google, puis de l'ajouter à l'index. Mais cela n'aide pas non plus.

Quelqu'un peut-il m'aider?

googleweb-crawlersrobots.txt
3
sschwaab

Si vous voyez ceci dans la section "erreurs d'analyse" en tant que "Robot.txt inaccessible", cela est dû à des problèmes de réseau ou de serveur lorsque Google a essayé d'extraire le fichier robots.txt (par exemple, le serveur a renvoyé une valeur de 500 ou a expiré.) pour le fichier robots.txt). Vous pouvez vérifier si Google dispose de la version actuelle à l'aide de "l'outil de test robots.txt" dans Search Console. Celui-ci doit afficher le contenu actuel du fichier et le menu déroulant situé en haut de l'écran vous indique la différence dans le temps.

4
John Mueller

Même si nous pensons tous que Google est intelligent pour tout traiter de manière parfaite, je pense qu'il y a encore des choses qu'il ne peut pas faire, et l'un d'entre eux établit une connexion sécurisée juste pour télécharger un fichier texte brut.

Ce que je vous suggère d’essayer pour rendre chaque moteur de recherche heureux, c’est de rendre votre fichier robots.txt accessible sans qu'il soit nécessaire d’établir une connexion sécurisée.

Quand j'ai essayé d'accéder à:

http://soundhaus-band.de/robots.txt

Je reçois une redirection vers:

https://soundhaus-band.de/robots.txt

Cela peut déstabiliser les moteurs de recherche car ils recherchent du contenu robots.txt uniquement pour trouver une redirection.

Vous devez faire http://soundhaus-band.de/robots.txt produire exactement le même résultat que https://soundhaus-band.de/robots.txt rendre tout le monde heureux.

Si cela ne fonctionne pas, envoyez à Google des commentaires négatifs sur son service de détection robots.txt.

0
Mike