Empêcher les moteurs de recherche d'essayer d'explorer d'anciens sites sur des sous-domaines qui ne sont plus disponibles
Il y a quelques années, j'ai eu plusieurs sites. Puis je les ai fermés. À l'époque, les moteurs de recherche avaient ajouté ces sites dans leurs bases de données. Plus précisément, Google et le chinois Baidu sont au courant. Maintenant, leurs robots interrogent mon serveur DNS pour rechercher des sites inexistants.
La complication est que maintenant j'ai un site Web qui fonctionne. Appelons cela example.com. Ces sites inexistants sont des sous-domaines tels que forum.example.com.
Le trafic n'est pas significatif. Mais pourquoi l'avoir tous les jours?
Pour autant que je sache, il y a deux façons de traiter ce problème:
- Un moyen administratif, c'est-à-dire de contacter d'une manière ou d'une autre les moteurs de recherche et de leur demander de bien retirer ces sites de leurs bases de données
- Un moyen technique, c'est-à-dire de le gérer moi-même avec une configuration BIND9.
Mais je ne sais pas comment aborder le problème, franchement.
Vous pouvez configurer une seule page sur le sous-domaine avec un message indiquant aux utilisateurs que le sous-domaine n'est plus actif et d'accéder à www.example.com à la place. Fournissez un lien permettant aux utilisateurs de cliquer sur le site principal et incluez <meta name="robots" content="noindex"> dans l'en-tête pour que les moteurs de recherche sachent qu'il n'est plus disponible.
Cette option est la plus utile pour les utilisateurs et les moteurs de recherche.
Si vous avez accès à ces sites, ajoutez un 404-header dur. Cela ne sera pas plus évident que cela. Les méta (noindex et nofollow) indiquent toujours que du contenu existe, vous ne voulez pas simplement qu'il soit indexé (pour l'instant, dans la mesure de leurs besoins).
Si ces sites n'existent pas, utilisez un htaccess et certains CNAMES pour faire la même chose. (CNAME forum.site.com comme site et htaccess à 404).
Google n'oublie jamais un site déjà indexé. Googlebot continuera à essayer de visiter vos anciens sites pendant des années. À ma connaissance, il n’ya aucun moyen de faire en sorte que les bots cessent totalement d’essayer de consulter les anciennes URL.
Si les sites sont vraiment en panne, Google ne les inclura pas dans l'index de recherche. Vous n'obtiendrez pas de vrais utilisateurs visitant ces sites à partir de moteurs de recherche. Vous ne verrez que des hits occasionnels des robots des moteurs de recherche qui tentent de voir si votre site est encore en ligne.
On dirait que vous avez éliminé les entrées DNS des sous-domaines. Les seules activités que vous verrez sont des requêtes DNS occasionnelles pour les sous-domaines. C'est le moins d'activité que vous puissiez espérer des robots des moteurs de recherche.
Si vous souhaitez afficher une page d'erreur, utilisez le statut HTTP "410 Gone". Ce statut indique explicitement que vous avez supprimé le contenu. Avec ce statut, les robots des moteurs de recherche reviendront moins souvent qu'avec d'autres statuts tels que "404 Introuvable". (Ils viendront quand même vérifier à l'occasion, cependant.)
Si vous avez toujours le contrôle sur vos sites Web auparavant, ajoutez simplement ceci sur la tête
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Cela demandera aux spiders des moteurs de recherche d'arrêter d'indexer votre site Web et de ne plus suivre les liens. Ces entrées seront supprimées de leur base de données. D'autre part, Google utilise plus d'une base de données et le nettoyage de toutes les copies de la base de données peut prendre environ 7 jours.