Empêcher Google d'explorer les pages de faible valeur
J'ai récemment analysé la demande d'analyse semaine après semaine faite par Google Bot sur mon serveur. Voici le graphique pour le même. 
Les demandes en double sont les cas où plus d'une demande a été faite par google-bot pour la même page en une semaine.
Je suis préoccupé par le nombre de requêtes en double que le bot fait. Cela entraîne un gaspillage important de sa bande passante pour l'exploration de mon site Web. En analysant les pages demandées par bot, j'ai pu constater que de nombreuses demandes avaient été faites pour des pages de faible valeur (moins de contenu, moins de SERP). Ces pages ressemblent aux résultats de liste pour certaines combinaisons de filtres dans lesquels la plupart des combinaisons n'offrent pas beaucoup de valeur.
Je me demande donc s’il est sage d’empêcher Google-bot d’accéder à des pages de faible valeur et de se concentrer sur les pages de sitemap de grande valeur.
J'avais déjà supprimé ces pages de mon sitemap.
Si j'ai bien compris, vous avez beaucoup de pages moins importantes qui ne doivent pas être explorées (que souvent).
Je ne sais pas si cela aidera à supprimer les pages du plan du site. Le sitemap n'est pas une sélection de pages à explorer. Lorsqu'un moteur de recherche trouve des liens en dehors du plan du site, ils seront tout aussi bien explorés.
Avez-vous envisagé d'attribuer une priorité inférieure à ces pages dans votre sitemap? Cette source provient du blog Google Webmasters indique que l'attribut "priorité" permet de hiérarchiser les pages des moteurs de recherche. Certains articles sur le référencement affirment que les pages moins prioritaires seront explorées moins souvent.