Googlebot récupère mes pages très fréquemment, rel-nofollow, meta-noindex ou robots.txt-interdit
Googlebot récupère très souvent les pages de mon site. Et cela ralentit mon site web. Je ne veux pas que Googlebot explore trop souvent.
J'ai diminué le taux d'analyse des outils Google pour les webmasters. Mais je suppose d'utiliser ces trois outils:
- Ajout de rel = "nofollow" à mes pages intérieures. Donc, Googlebot ne les explorera pas et ne les indexera pas.
- Ajout de la balise méta "noindex" pour que Google supprime cette page de l'index et ne la récupère plus.
- L'ajout de Disallow:/mySomeFolder/à robots.txt et Googlebot n'explorera pas ces pages.
Je prévois d’utiliser ces méthodes pour mes 56 000 pages, à l’exception des 6-7 pages les plus importantes. Quelle méthode préféreriez-vous et quels seraient les inconvénients ou les avantages? Ou cela ne changera-t-il pas la vitesse de mon site, etc.?.
Vous pouvez définir la vitesse à laquelle Googlebot explore votre site Web dans Google Webmaster Tools. http://support.google.com/webmasters/bin/answer.py?hl=fr&answer=4862
C’est ainsi que vous devriez limiter l’accès à Googlebots et non pas en le lui refusant. Parce que les pages noindex qu’elles visiteront quand même, elles seront la cause de hits sur votre serveur. Robots.txt interdit peut fonctionner, mais veillez à bien éditer ce fichier correctement. nofollow n'est utile que pour un lien spécifique. Si vous avez un lien vers cette page dans votre sitemap, ils l'exploreront quand même.
Le taux d'exploration fait référence à la vitesse des demandes de Googlebot lors du processus d'analyse. Cela n'a aucun effet sur la fréquence d'exploration ou la profondeur de l'analyse de la structure de votre URL. Si vous souhaitez que Google analyse le contenu nouveau ou mis à jour sur votre site, utilisez plutôt Fetch en tant que Google.
Google dispose d'algorithmes sophistiqués qui déterminent la quantité d'analyse à effectuer sur chaque site. Notre objectif est d'explorer autant de pages de votre site que possible à chaque visite, sans surcharger la bande passante de votre serveur.
Si Google analyse trop souvent votre site et ralentit votre serveur, vous pouvez modifier le taux d'analyse (le temps utilisé par Googlebot pour analyser le site) pour les sites situés au niveau racine, par exemple, www.example.com et http://subdomain.example.com . La modification du taux d'analyse peut entraîner certains problèmes (par exemple, Google ne pourra pas analyser plus rapidement que le taux personnalisé que vous avez défini). Ne le faites pas, à moins que vous ne remarquiez des problèmes spécifiques causés par Googlebot accédant également à vos serveurs. souvent.
Vous ne pouvez pas modifier le taux d'analyse pour les sites qui ne se trouvent pas au niveau racine, par exemple, www.example.com/folder.
L'utilisation de l'une des 3 solutions mentionnées ci-dessus (nofollow, noindex ou Disallow) nuira sérieusement à votre classement SEO.
Vous devez contrôler votre taux d'analyse via GMTW (comme suggéré par @Anagio [+1])
Si cela ne fonctionne toujours pas, vous avez peut-être affaire à un imitateur de Googlebot qui utilise l'agent utilisateur de Google pour supprimer ou spammer votre site. Je pense que cela pourrait être le cas parce que je n'ai jamais (au cours de mes 8 années en tant que SEO) rencontré de problèmes avec la notation d'analyse par défaut de Googlebot ...
Pour identifier un imitateur, je suggère d'utiliser la fonctionnalité de vérification IP de Botopedia.org pour vérifier si l'adresse IP de ce visiteur est bien connectée à Google. Voici le lien: Googlebot IP check
Vous pouvez en savoir plus sur le phénomène d'usurpation d'identité de Googlebot ici: ne étude montre que 16% des visites de Googlebot sont des faux