Combien de temps le fichier robots.txt supprime-t-il mon site de google
J'ai créé un fichier robots.txt à la racine, mais le site Web est toujours indexé par Google. Combien de temps a robots.txt pour supprimer mon site Web de Google?
Ça dépend. Tout ce que robots.txt fait, c'est indiquer à un robot quel contenu vous voulez ou ne voulez pas indexer. Mais cela ne fait que communiquer avec le robot. La manière dont le propriétaire du robot traite l'indexation et le nettoyage du contenu dépend de leurs processus internes. Ce qui signifie, ils peuvent prendre aussi longtemps qu'ils veulent gérer cet aspect du processus.
Concrètement, j'ai vu les résultats changer rapidement, de quelques jours à un mois complet. Cette imprévisibilité est la raison pour laquelle tout le concept de référencement (Search Engine Optimization) repose sur le principe selon lequel les propriétaires/gestionnaires de sites Web adoptent une approche de type "prévention par rapport à livre de guérison" pour la gestion de sites Web. Cela signifie que la seule chose que vous pouvez contrôler est votre code. Le reste n’est plus entre vos mains, vous devez donc présenter vos pages aussi proprement que possible.
Utilisez simplement l'outil de suppression d'URL présent dans les outils pour les webmasters de Google pour accélérer les choses (après le blocage avec le fichier robots.txt). Cela ne devrait pas prendre plus de 24 heures (il suffit d'entrer/de supprimer un site entier).
https://www.google.com/webmasters/tools/url-removal
Votre fichier de robots doit évidemment contenir une ligne pour dire à tous les robots de ne pas explorer votre site:
User-agent: * Disallow: /
Un fichier robots.txt peut interdire l'analyse et non l'indexation .
La prochaine fois que Google tentera d'explorer vos pages, il vérifiera probablement votre fichier robots.txt et remarquera qu'il n'est plus autorisé à l'explorer. Cela empêcherait Google de consulter vos pages, mais ces dernières ne seront pas nécessairement supprimées de leur index (cela ne signifie pas non plus que les nouvelles pages ne seront pas indexées; elles pourraient trouver des liens vers ces pages ailleurs). Vos pages pourraient toujours être répertoriées dans leur index (mais sans prendre le titre ou l'extrait de code de votre page).
Si vous souhaitez arrêter l’indexation, vous devez utiliser l’élément _ (meta-robots ou l’en-tête X-Robots-Tag HTTP) . Dans ce cas, vous devez autoriser l'exploration de ces pages dans le fichier robots.txt, sinon Google ne pourra jamais apprendre que vous n'autorisez pas l'indexation.