Comprendre les statistiques de Google Crawl
J'ai lancé mon site web en janvier 2011 et il est répertorié dans Google, ce qui est génial - environ 300 pages de contenu à ce jour. J'essaie de comprendre ce qui s'est passé dans les statistiques d'exploration vers la fin juin et le début juillet. Qu'est-ce qui a provoqué l'ascension massive? Qu'est-ce que cela signifie d'aller de l'avant? Y a-t-il autre chose que je devrais faire?
Si vous pensez qu'ils sur-explorent votre site (peut-être même qu'il vous manque un contenu plus profond), vous devez vous assurer que vos en-têtes HTTP renvoient de bonnes valeurs pour des éléments tels que "dernière modification", etc. Il se peut que Googlebot surestime l'ampleur de la modification de votre site. . En prime, votre site se comportera mieux en ce qui concerne la mise en cache (qu'il soit basé sur un proxy ou sur un navigateur) et se sentira donc un peu plus vite.
Vous feriez bien d'étudier quelles URL sont explorées (en consultant les journaux de votre serveur). S'ils rediffusent la même URL encore et encore, vous avez certainement un problème. Une variante commune à cela est si vous avez une page qui peut être affichée de différentes manières en utilisant des variables de requête. Googlbot peut essayer d'explorer toutes les combinaisons possibles de ces variables.
Un exemple rencontré en tant qu’exploitant d’exploration est une page contenant une liste de vingt en-têtes, toutes les combinaisons pouvant être développées. Fondamentalement, cette page avait 2 ^ 20 URL différentes!
Assurez-vous que Googlebot n'est pas bloqué en train d'explorer la même page, encore et encore, avec des paramètres trivialement différents (je l'ai déjà vue se perdre).
J'imagine que Google change le taux d'analyse en fonction de l'âge, de la popularité (liens vers votre site), du balisage et de l'en-tête, des cartes de site appropriées, etc. (au moins 2 semaines avant le changement).
Ainsi, lorsque j'ai publié mon blog, il y a 2 ans, il a fallu des mois à Google pour indexer tout le contenu et des semaines pour indexer de nouveaux messages. Maintenant, je vois n'importe quel message dans les résultats de recherche le jour même où je le publie.
Pour simplifier, Google n'aime pas les nouveaux sites mais respecte les aînés.