web-dev-qa-db-fra.com

Google n'analyse pas et n'indexe pas mon site après la mise à jour de mon fichier robots.txt.

Google ne parvient pas à analyser correctement mon site. J'ai lu d'autres questions où les gens ont eu le même problème. J'ai essayé de suivre leur solution d'utiliser ceci dans mon fichier robots.txt:

User-agent: *
Disallow:

Sitemap: http://www.sonjalimone.com/sitemap_index.xml

J'ai attendu plus de 24 heures pour que Google rediscute mon site et je dois donc avoir un problème dans le fichier robots.txt. Il s’agit d’un site WordPress si cela fait une différence, mais je ne vois pas pourquoi.

Quelqu'un sait-il quoi d'autre pourrait causer ce problème ou y a-t-il un problème avec ce qui précède?

googlegoogle-search-consolerobots.txt
1
Ciarán

Google récupèrera le fichier robots.txt ​​sur votre site toutes les 24 heures. Si vous apportez des modifications à votre fichier robots.txt, vous devez attendre un jour pour vous assurer que Googlebot enregistrera vos modifications.

Une fois que le fichier robots.txt ​​est correct, Googlebot commence à analyser et à indexer correctement l'ensemble de votre site. En règle générale, je m'attends à des modifications des documents indexés par Google dans environ deux semaines. Si vous avez un site volumineux, les pages plus profondes peuvent prendre jusqu'à un mois ou deux pour être redirigé.

Utilisez la fonctionnalité extraire en tant que Google de "Explorer" -> "Extraire en tant que Google" dans Google Webmaster Tools pour vous assurer que Googlebot est en mesure de télécharger les pages que vous attendez.

Vous pouvez également utiliser l'outil RL bloquées sous "Explorer" -> "URL bloquées" dans Google Webmaster Tools pour vous assurer que Google voit la version correcte de votre fichier robots.txt et qu'il peut en analyser URL que vous spécifiez dans cet outil.

2
Stephen Ostermiller

24 heures, c'est pas assez de temps pour attendre. Google n’exploitera certainement pas votre site aussi souvent. Cela pourrait prendre des jours ou des semaines avant de réindexer votre fichier robots.txt et d’explorer à nouveau votre site.

Et pour répondre à la question que vous allez poser ensuite, non, vous ne pouvez rien faire pour accélérer le processus.

2
John Conde

Si vous ne voulez pas bloquer les robots, je vous recommande de supprimer le fichier robots.txt. D'après mon expérience, cela cause souvent plus de tort que de mal à cause d'erreurs. En l'absence de robots.txt, la plupart des moteurs de recherche exploreront l'intégralité de votre site.

Ensuite, utilisez les outils pour les webmasters de Google pour soumettre un sitemap .

0
jeffatrackaid