Outils Google Webmasters: refusés par robots.txt
J'ai un site web: http://46.105.30.3/
Et j'essaie de le tester en utilisant l'option Fetch as Googlebot dans les outils Google Webmasters.
Quand je l'essaie, il retourne Denied by robots.txt.
Mon fichier robots.txt contient:
User-agent: *
Disallow: /js/
Disallow: /style/
Des idées pour lesquelles l'accès à Googlebot est refusé?
Votre fichier robots.txt a l'air bien. En aviez-vous un ancien qui bloquait les robots? Les avez-vous débloqué récemment? Peut-être que GWMT a l’ancien dans son cache et vous devriez attendre un peu avant qu’il soit rafraîchi. Connectez-vous à GWMT goto Site Configuration -> Accès au robot d'exploration. Vous pouvez y voir votre fichier robots.txt et la date la plus récente. Googlebot le saisir. Vous pouvez également y tester votre fichier de robots.