Comment déterminer si la vitesse d'exploration de Google pour votre site consomme trop de bande passante?
Je lisais à propos de modification du taux d'analyse de Google et de la manière dont il existe un équilibre dans lequel, si le taux d'analyse est trop rapide, votre site sera ralenti; mais si le taux d'analyse est trop lent, les descriptions de page dans les résultats de recherche risquent de ne pas être mises à jour assez rapidement .
C'est clairement un acte d'équilibre; Bien que je sache que l’on peut déterminer que le site n’est pas assez analysé en regardant la version de page en cache d’un résultat de recherche, je ne comprends pas comment mesurer le ralentissement et l’exploration d’un site.
J'ai différents types de CMS et d'hébergement, et je me demandais s'il existait un moyen généralisé de résoudre ce problème sur chacun d'entre eux ... peut-être en utilisant les journaux du serveur ou un test de performance de page Web de certains Trier.
Généralement, si vous avez un site Web populaire, vous devez prendre en compte les capacités de performances du serveur, a) vos clients/téléspectateurs qui seront allumés simultanément et b) être touchés simultanément par les mises à jour de Yahoo, Bing et Google, et éventuellement par Yandex et Baidu, en fonction de votre zone de visualisation.
Ralentir Bing et Yahoo via l'entrée robots.txt n'était pas une bonne idée car cela affectait le nombre de pages indexées. Ils ont tendance à frapper votre site Web plus durement pour le trafic que Google ne le fait, et Baidu et Yandex ont de plus en plus de mal à modérer leur trafic lorsqu'ils visitent votre site Web.
J'ai donc éliminé l'entrée dans le fichier robots.txt (Google ne l'utilise pas de toute façon) et j'ai utilisé les paramètres des outils pour les webmasters de Bing et Google pour effectuer une certaine formation du trafic. Ce que j’ai finalement décidé est de permettre plus de trafic que d’habitude aux heures creuses et de demander un peu moins de trafic pendant les heures de trafic normal afin de garder le site réactif.
Mes informations sur le trafic proviennent de l'implémentation de cPanel par mon fournisseur d'hébergement. Ils fournissent un graphique de trafic pour la bande passante quotidienne, hebdomadaire et annuelle que j'ai utilisée pour ajuster les paramètres. Vous pouvez obtenir un programme tel que Weblog Expert pour extraire également les statistiques de trafic de vos journaux d’accès.