désindexer un domaine entier avec robots.txt a créé des problèmes dans les outils Google pour les webmasters
Dans mon fichier robots.txt pour mon domaine qui héberge uniquement des images, j'ai utilisé les lignes suivantes:
user-agent: *
noindex: /
Je pensais que les moteurs de recherche jouissaient d'une faveur merveilleuse en ne les faisant pas explorer dans leur base de données d'URL faisant partie de mon site, mais plutôt dans un seul fichier pour obtenir l'indice. Le problème est que Google a un problème.
Dans les outils Google pour les webmasters, dans le menu du domaine, le domaine d'hébergement des images comporte un point d'exclamation rouge à gauche et à droite de celui-ci, au lieu d'afficher "Aucun nouveau message ou problème critique récent". Je vois plutôt "Vérifier la santé de la propriété". Je clique dessus et vois "Certaines pages importantes sont bloquées par le fichier robots.txt.". Je clique ensuite sur "Une page importante" qui me dirige vers mon nom de domaine d'hébergement d'images. Le fait est que ce lien est censé diriger les visiteurs vers le domaine de contenu de l'autre page.
Je comprends que je pourrais faire une redirection 301 de la racine du domaine d’image au bon endroit, mais cela ne me concerne pas. Personnellement, je préférerais que tous les éléments de ce domaine d’image soient désindexés, y compris la racine.
J'ai vérifié deux fois la section Plan du site et Google a indiqué qu'aucun plan Sitemap n'avait été soumis. Lorsque je vérifie l'état de l'index, Google indique que j'ai une URL indexée sur ce domaine d'image.
La seule idée que je me propose est de modifier d'une manière ou d'une autre noindex: / afin qu'il référence tout, sauf le dossier racine du domaine, et que la page par défaut inclue une directive no-index dans le code HTML.
Quelqu'un at-il une meilleure solution à ce problème afin que Google ne se plaint pas?
L'idée est de faire en sorte que le domaine d'images serve strictement d'images aux pages accessibles dans le domaine de contenu.
Je ne voudrais pas tout indexer sur ce domaine avec X-Robots-Tag. L'exclusion d'images de l'analyse ne fonctionnera pas, car les images sont liées à partir du domaine de contenu et parce que Google va gémir que des ressources importantes sont bloquées.
Votre idée de rediriger la page principale est absolument correcte - je le ferais sans doute en plus de noindexing.