Comment supprimer l'ancien fichier robots.txt de Google en tant qu'ancien fichier bloque l'ensemble du site
J'ai un site Web qui montre toujours l'ancien fichier robots.txt dans les outils pour les webmasters de Google.
User-agent: *
Disallow: /
Ce qui bloque Googlebot. J'ai supprimé l'ancien fichier mis à jour avec le nouveau fichier robots.txt avec un accès presque complet et je l'ai téléchargé hier, mais il me montre toujours l'ancienne version de robots.txt. Le contenu de la dernière mise à jour est disponible ci-dessous.
User-agent: *
Disallow: /flipbook/
Disallow: /SliderImage/
Disallow: /UserControls/
Disallow: /Scripts/
Disallow: /PDF/
Disallow: /dropdown/
J'ai envoyé une demande pour supprimer ce fichier à l'aide des outils Google pour les webmasters, mais ma demande a été refusée
Je vous serais reconnaissant si quelqu'un peut me dire comment je peux vider le cache de Google et lui faire lire la dernière version du fichier robots.txt.
Ceci provient du site Google Webmaster Developers https://developers.google.com/webmasters/control-crawl-index/docs/faq
Combien de temps faudra-t-il pour que les modifications dans mon fichier robots.txt affectent mes résultats de recherche?
Tout d'abord, le cache du fichier robots.txt doit être actualisé (nous mettons généralement en cache le contenu jusqu'à un jour). Même après avoir trouvé le changement, l'analyse et l'indexation sont des processus compliqués qui peuvent parfois prendre un certain temps pour des URL individuelles. Il est donc impossible d'indiquer un calendrier précis. De même, n'oubliez pas que même si votre fichier robots.txt interdit l'accès à une URL, cette URL peut rester visible dans les résultats de la recherche, même si nous ne pouvons pas l'explorer. Si vous souhaitez accélérer la suppression des pages que vous avez bloquées dans Google, veuillez envoyer une demande de suppression via Google Webmaster Tools.
Et voici les spécifications pour le fichier robots.txt de Google https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt
Si la syntaxe de votre fichier est correcte, la meilleure solution consiste simplement à attendre que Google mette à jour votre nouveau fichier de robots.
La première chose à faire est de vous assurer que vous avez correctement téléchargé le nouveau fichier robots.txt.
Visitez www.votresiteweb.com/robots.txt à partir de votre navigateur pour les vérifier.
Généralement, Google vérifie régulièrement les modifications apportées à votre fichier robots.txt.
Si vous vous inscrivez pour un compte Google Webmaster Tools, vous pouvez trouver plus d'informations, y compris la dernière fois que Google a vérifié votre fichier robots.txt.
EDIT: Vous ne pouvez pas non plus demander que votre fichier robots.txt soit supprimé. L'outil de suppression d'URL permet de supprimer des pages de l'index de recherche.
Avez-vous confirmé que le nouveau fichier a été téléchargé correctement? Il y a eu des fois où j'ai essayé d'envoyer un fichier par FTP au serveur, mais lorsque j'ai vérifié en ligne, les modifications ne sont pas apparues. Lorsque je me suis connecté à mon panneau de configuration d'hébergement et que j'ai consulté mes fichiers, il s'agissait toujours de l'ancien fichier. Apparemment, le fichier n’a pas été transféré correctement par mon client FTP, bien qu’il n’affiche aucune erreur.
La première chose à faire est donc de vérifier que votre fichier a été chargé correctement, en allant dans le fichier robots.txt de votre navigateur et en voyant ce qu’il contient.
Si le fichier a été téléchargé correctement et que vous pouvez voir le nouveau fichier dans le navigateur, votre fichier est mis en cache ailleurs. Certains fichiers statiques du cache de CDN, cela pourrait donc être la cause si vous utilisez un CDN.