La console de recherche Google indique "URL soumise bloquée par le fichier robots.txt", même s'il n'existe aucun fichier robots.txt.
Aujourd'hui, j'ai reçu un e-mail de Google l'informant de l'existence de problèmes de recherche sur mon site. Je me suis connecté à Google Search Console. Il montre que 1 fichier était bloqué par robots.txt, et ce depuis plusieurs jours.
J'exécute la vérification des robots sur ce fichier, elle dit: "Il n'y a pas de fichier robot.txt" "C'est ce que je pensais. Le message d'erreur indique donc que UN fichier n'était pas indexable à cause d'un fichier que je n'ai pas.
Si je lance "Fetch as Google", cela montre ce que j'attends.
J'ai envoyé des commentaires à Google.
J'ai vérifié d'autres réponses ici, et jusqu'à présent, tous ont parlé de formatage/syntaxe dans le fichier robots.txt. Je n'ai pas trouvé la combinaison d'obtention d'une URL bloquée lorsqu'il n'y a pas de fichier robots.txt.
Pourquoi un seul fichier? S'il s'agissait d'un problème de service temporaire, pourquoi est-il toujours là 5 jours plus tard>
Est-ce une de ces choses qui arrive juste et disparaît?
Avez-vous reçu le message par courrier électronique ou via la console de recherche?
si c'est par email ignorer. Si le message est sur la console de recherche, essayez de l'écraser en ajoutant un fichier robots.txt pour permettre à tous les robots d'explorer votre site Web, comme par exemple:
User-agent: *
Disallow:
Vérifiez également qu'aucune balise meta robots n'est présente (vérifiez chaque page) si ce qui suit apparaît et supprimez-la:
<META NAME="ROBOTS" CONTENT="NOINDEX">
Vérifiez également si vous bloquez l'accès via X-Robots-Tag à l'aide de l'en-tête HTTP.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)
Ma faute:
Ma configuration httpd redirige les erreurs 403 vers une page d'erreur personnalisée, mais ne la signale apparemment pas comme une erreur.
Comme le fichier robots.txt n’existe pas, httpd a consciencieusement fait ce qu’il était supposé faire et a renvoyé ma page d’erreur personnalisée.
Espérons que cela aide quelqu'un d'autre.