Quelle est la manière empirique de dire que Google a supprimé une URL de l'index?
Après la fusion de deux sites, l'un avec environ 40 URL et l'autre avec environ 700 URL (en raison d'un forum), le trafic global a diminué d'environ 50%. Je veux récupérer le trafic, car c'était organique et une ressource utile pour la communauté.
Après avoir trouvé cette réponse , j'ai décidé d'essayer de supprimer les ~ 700 pages du forum de l'index en utilisant un fichier robots.txt interdit, ce qui ne fonctionnait pas. Comme cette FAQ et cette réponse précisez, le fichier robots.txt doit autoriser les pages et meta noindex doit être utilisé.
Après avoir appliqué les balises noindex à toutes les pages du forum, retiré le fichier non autorisé de robots.txt et attendu une semaine, il existe toujours plus de 700 URL dans l'index, conformément aux outils Google pour les webmasters. Cependant, si je visualise l'état de l'index avancé et que je coche toutes les cases, il affiche 795 URL indexées et plus de 200 bloquées par des robots. Le graphique bloqué par les robots augmente régulièrement (environ 30 URL par semaine). Notez que le taux d'analyse moyen est d'environ 125 pages par jour.
Ma question est la suivante:
Comment puis-je savoir que les URL ont bien été supprimées? En regardant le graphique de l'état de l'index de Google pour les outils pour les webmasters, c'est ce que je pensais être un bon indicateur, mais je me demande ce qui devrait réellement se passer dans les résultats. La ligne bleue du total des index indexés doit-elle être ramenée à un nombre d'URL faible (comme je m'y attendais) ou le total indexé restera-t-il élevé et le nombre de URL bloquées par des robots et/ou supprimés augmentera-t-il?
Ceci réponse de Google semble indiquer que le total indexé (ligne bleue) devrait chuter. Pourquoi alors n'a-t-il pas chuté du tout après avoir appliqué les balises noindex et attendu une semaine?
Le nombre d'index de Google Webmaster Tools fluctue constamment, en particulier avec les sites dynamiques ou utilisant des plates-formes communes telles que les logiciels de forum.
La meilleure façon de savoir combien de ces URL Google sont supprimées de leur index est d'utiliser l'opérateur site dans la recherche Web de Google, par exemple: -
site: example.com/forum
Cela vous montrera toutes les URL indexées sous /forum/* - si vous effectuez cette recherche tous les quelques jours et voyez combien d'URL sont indexées, cela vous donnera une idée de leur suppression dans l'index comme vous le souhaitez.
Lorsque ces URL commencent à être supprimées de l'index, vous devez vous attendre à voir le nombre total d'indexés dans Google Outils pour les webmasters diminuer en conséquence, bien que, comme je l'ai mentionné ci-dessus, il y aura probablement beaucoup de nouvelles URL indexées (et en baisse) de votre site chaque jour.
Malheureusement, vous avez abandonné le moyen le plus rapide de supprimer des pages de l'index Google. Il n'y a rien de mal à utiliser le fichier robots.txt pour supprimer des pages de l'index Google.
Après avoir basculé sur noindex, l'araignée mettra un certain temps à récupérer toutes les pages et à mettre à jour l'index. La vitesse dépendra de la fraîcheur de votre site dans le passé.
Une partie de ce qui peut ralentir ce processus est en train de changer la donne. Je suggère fortement de garder le cap. Plus vous changez les choses, plus vous confondez la machine et plus il sera lent à obtenir ce que vous voulez.
Sois patient. Cela prendra quelques semaines avant que la page ne soit supprimée. Les moteurs de recherche sont notoirement lents.
Malheureusement, il n’existe aucun moyen vraiment efficace de vérifier vos progrès, à l’exception du graphique que vous avez déjà mentionné. Parfois, les chiffres peuvent ne pas avoir de sens. Google semble parfois utiliser Microsoft pour les calculs. Lorsque le graphique s'est stabilisé pendant un certain temps, il est probable que toutes les pages soient retirées de la liste. Une chose à faire est de prendre un échantillon des titres de page et de faire une recherche site: en utilisant les titres uniques entre guillemets. Prendre un échantillon peut vous donner une idée de ce qui se passe.