web-dev-qa-db-fra.com

Les pages avec X-Robots-Tag: noindex ont été supprimées à l'aide de l'outil dans la console de recherche, mais sont maintenant indexées à nouveau

J'ai créé ces pages indésirables noindex (en utilisant l'en-tête HTTP "X-Robots-Tag: noindex"). Ensuite, j'ai supprimé ces pages à l'aide de l'outil "Supprimer les URL" de la console de recherche.

Ces pages ont disparu de Google pendant un certain temps, mais maintenant elles sont revenues (et je ne les veux vraiment pas là-bas).

Qu'est-ce que je rate?

P.S. Actuellement, ces pages apparaissent comme "Expirées" dans "Supprimer les URL" dans la console de recherche.

EDIT: Ces pages ne sont pas bloquées dans le fichier robots.txt

EDIT2: Voici à quoi ressemblent ces pages dans "Inspection des URL" dans la console de recherche Google (toutefois, contrairement à ce que dit la console de recherche, ces pages apparaissent dans les résultats de recherche Google): enter image description here

1
Sergey

Ceci est en fait très commun; pages supprimées à l'aide de l'outil Google Search Console, ne sont pas destinées à être permanentes. Google mentionne même cela sous la section de l'outil Remove URLs:

Supprimer les URL

Pour supprimer définitivement le contenu, vous devez supprimer ou mettre à jour la page source. Supprimez temporairement les URL que vous possédez des résultats de la recherche.

La partie difficile de ce que vous essayez de faire est de désindexer une page déjà indexée par Google. Une fois que Google a indexé une page, il n'aime pas la laisser partir, même si vous 404 ou 410 page, elle reviendra périodiquement au fil du temps et la cliquera juste pour voir si la page a revenu.

Tant que vous avez le bon jeu de balises noindex, tout devrait bien se passer. Au fil du temps, Google et d'autres moteurs de recherche désindexeront la page - mais ici, la clé est time . Vous pouvez combiner les balises noindex avec l'outil GSC Remove URLs pour obtenir un effet plus immédiat.

Ce que je voudrais faire est: aller dans la section robots.txt Tester de la console de recherche Google et tester l'une des URL que vous essayez de désindexer de Google (comme votre example.com/buy). En supposant qu'il n'y ait pas de conflit, passez à autre chose, adressez-vous à votre fichier robots.txt, car Google devrait pouvoir analyser les pages que vous essayez de désindexer.

Après avoir vérifié que votre robots.txt est correct, je passerais ensuite à la vérification de la présence de l'une ou des deux balises meta (préférée) ou header correctement configurées sur les pages de votre choix. -indexé:

Utilisation de la balise meta robots (préféré)

<meta name="robots" content="noindex, nofollow">

Utilisation de l'en-tête HTTP X-Robots-Tag

X-Robots-Tag: noindex, nofollow

Plus d'informations sur ceux-ci peuvent être trouvé ici .

Si tout cela est fait, vous devriez éventuellement voir les pages définitivement supprimées des index du moteur de recherche.

3
devnull