web-dev-qa-db-fra.com

L'aperçu instantané dans Google Webmaster Tools prend-il le fichier robots.txt dans son compte?

Est-ce la voie à suivre si je veux voir visuellement ce que voit le googlebot? J'essaie de vérifier un dossier que je viens de bloquer dans mon fichier robots.txt.

  • Si je récupère le dossier en tant que googlebot, cela se passe bien, donc cela ne me dit rien sur le fonctionnement du blocage
  • Je sais qu'il existe un outil pour vérifier le blocage, mais cela dépend de l'entrée du fichier robots.txt

C’est pourquoi j’ai essayé l’aperçu instantané, et je n’obtiens pas d’aperçu de ce que voit le bot ("pré-rendu"), donc je pense que cela signifie que c’est parce que le fichier robots.txt le bloque; voir le bot déjà essayé d'accéder à mon fichier robots.txt mis à jour, donc je ne suis pas sûr de savoir comment il sait que ce dossier est bloqué?

seogoogle-search-consolerobots.txtgooglebot
2
rockyraw

Si vous avez suivi https://support.google.com/webmasters/answer/156449?hl=fr alors tout devrait bien se passer. Le fichier robot.txt doit bloquer ces zones correctement. Attendez quelques jours à une semaine environ, puis consultez Outils pour les webmasters (inscrivez-vous si vous ne l’avez pas déjà fait) et cela vous indiquera le nombre de pages bloquées par le fichier robots.txt et vous verrez ces pages disparaître de la recherche Google avec le temps. .

De même, si vous envoyez un plan Sitemap à Google ou même un plan Sitemap HTML, les pages bloquées ne sont pas répertoriées, car cela peut conduire à l'indexation de ces pages même si elles sont bloquées par robots.txt.

Même si vous bloquez des éléments par robots.txt, cela ne garantit pas que les moteurs de recherche ne les indexeront pas.

1
Vagish

Je pense que la prévisualisation instantanée dans les outils pour les webmasters prend en compte le fichier robots.txt, car les faq de la prévisualisation instantanée indiquent qu’une erreur serait générée si elle était bloquée.

Roboted: la ressource n'est pas autorisée à être extraite via une directive robots.txt pour Googlebot.

https://sites.google.com/site/webmasterhelpforum/en/faq-instant-previews#14

1
user29671