Sérieux pic d'exploration Googlebot utilisant une tonne de bande passante
L'un des sites que je maintiens a vu Googlebot utiliser une bande passante de 23 Go ce mois-ci.
Cela me semble tout à fait mental, que puis-je faire à ce sujet?
J'ai réduit le taux d'analyse sur les outils pour les webmasters et édité le robots.txt, j'ai soumis un sitemap.
Un pic important comme celui-ci ressemble à un hack, Googlebot pourrait-il être usurpé?
Il est très simple d'usurper un en-tête User-Agent et de prétendre être un Google Bot. Mais beaucoup plus difficile de simuler l'Ip. d'où provient la demande.
Vérifiez que les PID qui font cette demande appartiennent à Google.
Googlebot ne suit pas le taux d’exploration (comme indiqué par les outils pour les webmasters de Google). Mais il est bon de placer quand même pour les autres robots. Recherchez d'éventuelles boucles sans fin sur les pages (telles que les résultats de recherche ou les listes d'articles avec différentes méthodes de tri/filtrage, etc.) et appliquez-leur une noindex ou nofollow et/ou un lien rel=canonical alors Google ne les voit qu'une fois.