À quelle fréquence les robots de recherche visitent-ils généralement un site Web?
Il y a quelques semaines, j'ai terminé un site Web et soumis son plan Sitemap à Google. À ce jour, je n'ai rencontré aucun problème réel. La plupart des URL ont été indexées avec succès.
Lorsqu'un moteur de recherche renvoie des analyses ultérieures d'un site Web, tous les liens du plan Sitemap sont-ils systématiquement consultés, qu'il y ait eu des modifications ou non depuis la dernière analyse? Inversement, le bot concerné visite-t-il le plan Sitemap, identifie-t-il la date sous "Dernière modification", puis analyse uniquement l'URL, si la date est postérieure à la dernière fois où le bot a visité/analysé l'URL? Ce dernier a plus de sens pour moi.
Je suis curieux de savoir cela car, lorsque j'ai soumis le plan Sitemap, j'ai remarqué qu'au cours des premières semaines, il n'y avait aucune cohérence dans chaque analyse. Certains jours, plus de 1 000 pages seraient explorées alors que d'autres jours, seules 10 à 20 pages seraient explorées.
Le "taux d'exploration" est maintenant stable, mais certaines pages n'ont toujours pas été indexées, bien qu'elles aient été créées avant d'autres pages qui sont rapidement récupérées par les robots de recherche.
J'ai vérifié le fichier .htaccess ainsi que les pages n'ont pas été noindexed.
En règle générale, les robots de recherche n'arrêtent jamais de consulter un site Web. Googlebot télécharge généralement certaines pages tous les jours. Il peut même télécharger presque autant de pages par jour que de vrais utilisateurs.
Les robots de recherche ne parcourent presque jamais le site en entier en une seule séance. Au lieu de cela, ils ré-explorent les pages chacun selon leur propre calendrier. Ils planifient des analyses de page en fonction de la popularité d'une page et de la fréquence à laquelle le robot de recherche observe l'évolution de la page.
Google a dit qu'ils avaient à peu près ignorer les champs lastmod et changefreq dans les sitemaps car beaucoup de webmasters ne les tiennent pas à jour de manière fiable. En fait, Google n'utilise pas votre sitemap très peu. L’avantage principal d’un sitemap est d’afficher des statistiques supplémentaires dans la console de recherche Google. En règle générale, les plans Sitemap ne permettent pas à Googlebot d'explorer des pages. Sinon, elles ne facilitent pas l'analyse et ne facilitent pas le classement. Voir Le sitemap Paradox .
La plupart des sites se retrouvent avec des pages non indexées. Ce n'est généralement pas parce que Google n'a pas rampé. Au lieu de cela, Google choisit simplement de ne pas indexer certaines pages. Voir Pourquoi les moteurs de recherche n'indexent-ils pas mon contenu? Les pages que Google choisit de ne pas indexer sont généralement l'une des suivantes:
- Dupliquer
- Pas beaucoup de contenu
- Mauvaise qualité
- Ne pas cibler les sujets recherchés par les utilisateurs
- Faible réputation (PageRank)
Ce que j'ai personnellement remarqué sur mes sites, c'est que lorsque Google explore un de mes sites pour plusieurs milliers de pages un jour, puis qu'il cesse de l'explorer pendant toute la semaine, il a décidé:
- Mon site était intéressant et mérite peut-être l'exploration
- Il s'est avéré que ce n'était pas assez intéressant pour Google de revenir tous les jours.
- Mais il est assez intéressant que Google revienne dans une semaine ou deux pour voir s’il s’améliore.
Quand mes sites commencent à être explorés par Google, c'est chaque jour lorsque j'ai découvert que Google commence à leur envoyer beaucoup de trafic. Il semble que lorsque mes sites se sont massivement explorés pendant un jour ou une semaine, mais pas du tout le lendemain ou la semaine suivante, c'est parce que Google est intéressé, mais il ne veut pas encore m'envoyer beaucoup de trafic. Lorsque j'ai amélioré les sites avec des taux d'analyse peu fréquents, Google a ensuite commencé à l'explorer tous les jours et à lui envoyer beaucoup plus de trafic.
En conséquence, je pense que cela indique que vous voudrez peut-être vraiment savoir ce que vous pouvez faire pour amener le site au prochain niveau d’amélioration. Parce que Google s’intéresse à vous mais pense peut-être que vous avez besoin de briller plus fort.
Ceci est juste ma pensée et mon expérience de problèmes de taux d’exploration similaires que j’ai connus et comment je les ai interprétés.