"Restreint par Robots.txt" dans les outils pour les webmasters de Google en l'absence de robots.txt
Dans les outils pour les webmasters de Google, il y a 832 erreurs dans le sitemap. L'erreur est "URL restreinte par le fichier robots.txt". Je n'ai pas de fichier robots.txt et la méta-balise robots est égale à "index, follow".
J'ai avait un fichier robots.txt et sa date d'existence pourrait bien correspondre à la date des erreurs d'analyse dans Google Webmaster Tools.
Cependant, le tableau de bord montre que ces erreurs d'analyse demeurent, "mises à jour le 23 septembre 2011" (hier). Toutes les erreurs d'analyse datent d'environ 3 semaines, c'est probablement avant que je supprime le fichier robots.txt.
Est-ce que les erreurs d’exploration subsistent en date d’hier indiquant que Google n’a pas rediffusé le site?
Google a essayé de télécharger à nouveau le fichier /robots.txt il y a 4 heures à peine et ne l'a pas trouvé. Il ne le sera pas avant des semaines.
Dois-je interroger Google pour explorer à nouveau le site?
Vous pouvez envisager de créer un fichier robots.txt plus permissif afin que Googlebot trouve un contenu à télécharger et à utiliser. Il faudra patienter un moment si robots.txt renvoie une erreur 404, au cas où ce ne serait pas intentionnel de votre part.
Essayer:
User-Agent: *
Disallow: