web-dev-qa-db-fra.com

Diminution significative du taux de crawl

Ci-dessous, le graphique de mon site Web qui a enregistré une baisse significative du taux d'analyse (pages explorées par jour) Crawl Per Day

Voici le graphique pour le temps de télécharger la page Download time

Je voulais connaître la raison de cette baisse continue du taux de crawl depuis septembre. Environ 30 erreurs de serveur (code HTTP 500) ont été corrigées à la fin du mois de septembre. 404 erreurs étaient autour de 350 et étaient toutes valables 404. Le site Web contient environ 0,2 million de pages sur lesquelles nous soumettons de manière sélective environ 20 000 URL via un plan du site. J'ai vérifié que le temps de connectivité du serveur était de 100% depuis août. J'ai vérifié les changements déployés sur le site Web, mais aucun ne pointe vers ce problème. J'ai procédé à une restructuration d'URL au début d'août pour laquelle je me suis assuré de disposer des règles 301 et canoniques appropriées (aucune erreur d'analyse n'a été signalée pour la restructuration d'URL).

Tout conseil dans quelle direction dois-je regarder est plus que bienvenu. Je subis également une baisse du trafic organique.

2
HBalyan

Google utilise un algorithme pour déterminer la fréquence de nouvelle exploration des pages. Bien que les mécanismes exacts restent confidentiels, le principe de base dépend de la taille du site, de la qualité supérieure du site, du nombre de sites renvoyant vers ce site et de la fréquence de modification du contenu des pages. Les chiffres que vous avez publiés semblent des taux d’analyse assez raisonnables pour un site de votre taille.

2
Chris Rutherfurd