À quelle fréquence Googlebot récupère-t-il les sitemaps? Cela dépend-il de PageRank?
À quelle fréquence Google récupère-t-il des sitemaps?
Je travaille maintenant avec un site Web à fort trafic qui compte normalement 30 nouveaux messages par minute. Il fournit actuellement un plan du site contenant uniquement les 100 derniers messages (3 minutes).
Est-ce que cette méthode est suffisante? Est-ce que les bots vont chercher des sitemaps toutes les 3 minutes?
Le site a-t-il besoin de sitemaps pour répertorier les 5 millions de messages? En quoi le fait de fournir ces plans de site modifierait-il le trafic et le PageRank?
Googlebot supprimera-t-il les URL précédemment répertoriées dans les sitemaps mais qui ne le sont plus?
- 3mins est absolument correct, vous devriez vérifier pour voir combien de fois Google lit le sitemap, je parie que c'est beaucoup plus long que ça.
- Vous devez diviser vos plans Sitemap en segments et définir le lien principal du plan Sitemap vers les autres sites, car cela devient plus facile à gérer et Google dispose d'un meilleur temps pour le traitement des plans Sitemap plus petits.
- Google ne supprimera les URL que si la page est supprimée du site et renvoie un statut d'erreur. Votre recherche indique qu’elle répertorie plus que ce que contient votre sitemap, mais pas l’inverse.
J'essaierais de fournir au moins une semaine de nouveau contenu dans les sitemaps si l'objectif est de permettre à Google de découvrir et d'indexer de nouveaux contenus. Il est peu probable que Googlebot récupère les fichiers de plan Sitemap toutes les 3 minutes.
De nombreux sites fournissent un plan Sitemap contenant TOUS des URL disponibles sur le site. En plus de votre sitemap contenant du nouveau contenu, je vous suggère également de créer un ensemble de fichiers de sitemap complets.
Les plans Sitemap fournissent uniquement la découverte d'URL. Ils n'aident pas les pages dans leur classement. Voir Le paradoxe du plan du site . Si Googlebot peut trouver toutes les 5 millions de pages du site grâce à une exploration normale, le sitemap ne présente aucun avantage en termes de classement. Vous obtenez des statistiques supplémentaires sur les pages incluses dans les plans de site via les outils pour les webmasters de Google.
Si Googlebot peut trouver des liens vers une page, il continuera d'indexer cette page même si la page ne figure plus dans un sitemap.