Robots.txt n'a jamais été téléchargé, mais des URL bloquées dans GWT
Il y a quelque chose que je ne comprends pas dans Google Webmaster Tools (GWT) pour mon site WordPress.
Dans le menu "URL bloquées", il est mentionné que mon robots.txt n'a jamais été téléchargé, mais qu'il existe des URL bloquées. C'est un peu bizarre et pas logique. Est-ce que je manque quelque chose?
User-agent : *
Disallow: /*?
Disallow: /wp-login.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Allow: /wp-content/uploads
Disallow: */trackback
Disallow: /*/feed
Disallow: /*/comments
Disallow: /cgi-bin
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.gz$
Disallow: /*.cgi$
Disallow: /author/*
Je crains que mon robots.txt ne bloque pas plusieurs URL que je veux bloquer.
Modifier (capture d'écran):
Le problème vient de l'encodage du fichier robots.txt. Le codage UTF-8 est recommandé par Google.
Ce peut être juste un petit problème - ils se produisent de temps en temps.
Une autre possibilité se présente cependant: votre capture d'écran provient de GWT sur une version non -www de votre domaine. La version www est-elle également autorisée (par exemple, pour pouvoir définir le domaine préféré)? Si tel est le cas et que la version www est canonique, cela pourrait expliquer pourquoi Google saurait combien d'URL sont bloquées sans techniquement après avoir téléchargé le fichier (ils ont téléchargé la version www…). qui est le même fichier en réalité, mais ce n’est pas un sens techie pédant).
C'est un peu long, mais c'est à peu près la seule explication possible, à part un petit problème.
Parfois, Google dit qu'il a été bloqué par robots.txt alors qu'en fait, c'est une balise noindex qui empêche Google d'indexer la page. Si vous avez des plugins pour le mode maintenance ou d’autres pouvant éventuellement définir noindex sur votre page d’accueil ou d’autres pages, je vous suggère d’aller à la page pour afficher le code source de votre navigateur et vérifier qu’aucun noindex n’a été rendu par un plugin.