web-dev-qa-db-fra.com

Pourquoi Google Webmaster Tools indique-t-il que tout mon site est bloqué par le fichier robots.txt alors que je n'ai pas de fichier robots.txt?

J'ai envoyé un plan du site pour mon site WordPress à Google Webmaster Tools. Plusieurs fois. Je continue à recevoir les mêmes messages:

"URL bloquée par robots.txt." et "Le plan du site contient des URL bloquées par le fichier robots.txt".

Mais je n'ai pas de fichier robots.txt nulle part. Il semble que tout mon site et tous les liens qu'il contient soient bloqués par Googlebot. J'utilisais le plugin Yoast SEO de WordPress et Cloudflare, mais je les ai désactivés et j'ai vidé mon cache, mais en vain. Je pensais que c'était la faute de Yoast au début.

Le paramètre "Visibilité dans les moteurs de recherche" de WordPress indique "Décourager les moteurs de recherche d'indexer ce site", comme il se doit. Maintenant, je me demande si WordPress crée son propre fichier robots.txt virtuel ou quelque chose qui n'apparaît pas à la racine du site.

Ce qui donne? Dois-je attendre quelques jours? Je n'ai jamais eu de fichier robots.txt pour commencer!

robots.txt
1
CharlesMabe

Un problème similaire m'est apparu et j'ai trouvé la solution suivante:

  • Étape 1: Sauvegardez votre fichier .htaccess, puis supprimez-le (ne vous inquiétez pas, lors de la prochaine actualisation, WordPress en créera une pour vous)
  • Étape 2: s'il n'y a pas de robots.txt, créez-en un avec une page vierge
  • Étape 3: Renvoyez le plan du site aux outils de Google Webmasters.
  • Étape 4: Utilisez également "Crawl as google" et rajoutez le site pour confirmer que tout fonctionne correctement

J'espère que votre site sera indexé d'ici peu.

1
Mayeenul Islam

Maintenant, je me demande si WordPress crée son propre fichier robots.txt virtuel ou quelque chose qui n'apparaît pas à la racine du site.

WordPress fait exactement cela, mais uniquement lorsque vous " découragez " les moteurs de recherche.

Qu'est-ce que vous obtenez si vous allez à http://example.com/robots.txt? Où example.com est votre site, bien sûr.

0
Otto

Avez-vous WordPress installé dans un sous-répertoire? Si oui, vérifiez le fichier robots dans le dossier racine.

Si non, vérifiez si l'indexation des moteurs de recherche est désactivée dans Paramètres> Lecture.

Si vous utilisez des plugins SEO, vérifiez également les paramètres. Bien que l’indexation soit activée par défaut à la fois dans les paramètres principaux de WordPress et dans les paramètres de plug-ins, vous devez également les vérifier.

0
Abhik