Puis-je appeler Google pour vérifier mon fichier robots.txt?
J'ai lu les réponses à cette question, mais ma question est toujours ouverte: Google cache-t-il le fichier robots.txt?
Je n'ai pas trouvé dans les outils pour les webmasters de Google un moyen d'invoquer un re-téléchargement de mon fichier robots.txt .
Suite à une erreur, mon fichier robots.txt a été remplacé par:
User-agent: *
Disallow: /
Et maintenant, tout mon contenu a été supprimé des résultats de recherche Google.
Évidemment, je suis intéressé à corriger cela le plus tôt possible. J'ai déjà remplacé le fichier robots.txt , mais je ne trouve pas le moyen de faire en sorte que Google mette à jour la version en cache.
Vous ne pouvez pas leur demander de télécharger à nouveau votre fichier robots.txt quand vous le souhaitez. Google l'explorera à nouveau et utilisera les nouvelles données chaque fois qu'il le jugera approprié pour votre site. Ils ont tendance à l'explorer régulièrement, donc je ne m'attends pas à ce que cela prenne trop de temps pour que votre fichier mis à jour soit trouvé et que vos pages soient à nouveau explorées et réindexées. N'oubliez pas qu'il peut s'écouler un certain temps après la découverte du nouveau fichier robots.txt, avant que vos pages ne soient réanalysées, et encore davantage de temps pour qu'elles apparaissent dans les résultats de recherche de Google.
J'ai rencontré le même problème lorsque j'ai lancé mon nouveau site Web www.satyabrata.com le 16 juin.
J'avais un Disallow: / dans mon robots.txt, exactement comme Oliver. Il y avait également un message d'avertissement dans Google Webmaster Tools concernant les URL bloquées.
Le problème a été résolu hier, le 18 juin. J'ai fait ce qui suit. Je ne sais pas quelle étape a fonctionné.
- Santé -> Récupérer en tant que Google: robots.txt et la page d'accueil. Ensuite, soumettre à indexer.
- Paramètres -> Domaine réservé: URL affichée sous la forme
www.satyabrata.com - Optimisation -> Plans Sitemap: sitemap XML ajouté.
Le message d'avertissement concernant les URL bloquées a disparu et un nouveau robots.txt est téléchargé dans Google Webmaster Tools.
Actuellement, je n'ai que deux pages indexées dans Google, la page d'accueil et robots.txt. J'ai 10 pages sur le site. J'espère que le reste sera bientôt indexé.
J'ai eu un problème où les images ont été déplacées vers un serveur CNAME séparé et une interdiction a été placée dans le dossier des images. Pour résoudre ce problème, je voulais que le fichier robots.txt soit récupéré dans la page Web du Webmaster Tools comme un outil Google. Une fois qu'il m'a dit qu'il avait récupéré et lu le fichier robots.txt, je l'ai soumis. Cela a rompu un embargo de trois mois sur la numérisation des images, Google indiquant qu'il lisait le fichier robots.txt mais ne modifiait pas son araignée pour correspondre aux règles modifiées pour autoriser le dossier d'images. En une semaine, les images étaient à nouveau indexées.
Peut-être la peine d'essayer. On sait que Google est parfois bloqué et ne parvient pas à relire le fichier.