web-dev-qa-db-fra.com

Comment résoudre l'erreur "Google ne trouve pas le fichier robots.txt de votre site"?

J'ai récemment constaté que "Google ne peut pas trouver le fichier robots.txt de votre site" dans les erreurs d'analyse. Lorsque j'ai essayé Récupérer en tant que Google , j'ai obtenu le résultat "SUCCESS", puis j'ai essayé de consulter les erreurs d'analyse et le message "Google ne trouve pas le fichier robots.txt de votre site".

Que puis-je faire pour résoudre ce problème? Avant que ce problème ne se pose, mon site était indexé en quelques minutes, mais maintenant, je trouve qu'il a fallu du temps pour l'indexer dans la recherche de Google.

Lorsque j'accède à http://mydomain.com/robots.txt , les données ci-dessous s'affichent:

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/

J'ai trouvé des URL bloquées = 0 et aucune autre erreur.

Y a-t-il autre chose que je dois changer? Ou quelle pourrait être la solution pour cela? Toute aide serait appréciée.

googlegoogle-search-consolerobots.txtgooglebotcrawl-errors
3
Manivasagam

Assurez-vous que dans Paramètres → Confidentialité dans le back-end, vous avez coché Autorisez les moteurs de recherche à indexer ce site et pas l'autre qui est demandez aux moteurs de recherche de ne pas indexer ce site.

En outre, c'était probablement juste une faute de frappe, mais votre robots.txt devrait ressembler à ceci:

User-agent: * 

Disallow: /wp-admin/
Disallow: /wp-includes/
2
stealthyninja

Si vous avez beaucoup de sites Web stockés sur le même serveur et utilisez le même compte Google Analytics pour tous, ainsi qu'un service d'hébergement tiers tel que GoDaddy, NetWork Solutions, etc. avec un serveur dédié, le serveur d'hébergement Une entreprise peut bloquer Googlebot après avoir essayé un certain nombre de sites Web que vous avez hébergés.

Googlebot et l'outil Fetch as Google s'exécutent sur deux numéros IP différents, ce qui expliquerait votre capacité à Fetch as Google, mais que Googlebot n'a pas trouvé votre robots.txt.

0
thatdude38

Note latérale: Votre syntaxe robots.txt n'est pas correcte:

User-agent:

*Disallow: /wp-admin/

Disallow: /wp-includes/
  • Je suppose que le * est passé à la ligne suivante par accident; ce devrait être User-agent: *
  • *Disallow sera inconnu de la plupart des analyseurs et la règle suivie sera donc ignorée.
  • pas de saut de ligne autorisé à l'intérieur d'un bloc

Donc ça devrait être:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
0
unor