Comment contrôler la fréquence à laquelle les moteurs de recherche visitent mon site?
J'utilise la ligne suivante dans le <head> de mes sites depuis des années:
<meta name="revisit-after" content="3 days" />
J'ai récemment découvert que ce n'est pas l'une des les balises méta que Google comprend, ce qui, à mon avis, ne sert à rien de l'inclure, et que cela ne fait aucun bien depuis des années.
À quelle fréquence les moteurs de recherche explorent-ils un site Web par défaut et quels moyens fiables existe-t-il pour augmenter ou réduire cette fréquence?
Vous pouvez contrôler la vitesse à laquelle Google explore votre site dans Google Webmaster Tools .
Le taux d’exploration de votre site détermine le temps utilisé par Googlebot pour analyser votre site à chaque visite. Notre objectif est d'analyser en profondeur votre site (afin que vos pages puissent être indexées et renvoyées dans les résultats de recherche!) Sans créer d'impact notable sur la bande passante de votre serveur. Bien que la plupart des webmasters s’en servent bien avec le paramètre d’exploration par défaut (c’est-à-dire qu’aucune modification n’est nécessaire, veuillez vous reporter à ce qui suit), certains webmasters peuvent avoir des besoins plus spécifiques.
Googlebot utilise des algorithmes sophistiqués qui déterminent le nombre d'analyses à effectuer sur chaque site visité. Pour une grande majorité de sites, il est probablement préférable de choisir l'option "Laisser Google déterminer mon taux d'analyse", qui est l'option par défaut. Toutefois, si vous êtes un utilisateur expérimenté ou si vous rencontrez des problèmes de bande passante avec votre serveur, vous pouvez personnaliser votre vitesse d'analyse à la vitesse optimale pour votre ou vos serveur (s) Web. L'option de taux d'analyse personnalisé vous permet de fournir à Googlebot un aperçu du nombre maximal de demandes par seconde et du nombre de secondes entre les demandes qui, selon vous, conviennent le mieux à votre environnement.
Googlebot détermine la plage de valeurs de taux d'analyse disponibles dans les Outils pour les webmasters. Ceci est basé sur notre compréhension des capacités de votre serveur. Cette plage peut varier d'un site à l'autre et dans le temps en fonction de plusieurs facteurs. Définir le taux d'analyse sur une valeur inférieure à la valeur par défaut peut affecter la couverture et la fraîcheur de votre site dans les résultats de recherche de Google. Toutefois, une valeur supérieure à celle par défaut n'améliorera ni votre couverture ni votre classement. Si vous définissez un taux d'analyse personnalisé, le nouveau taux restera en vigueur pendant 90 jours, après quoi il sera réinitialisé sur la valeur recommandée par Google.
Vous pouvez utiliser ce paramètre uniquement pour les sites de niveau racine et les sites non hébergés sur un domaine volumineux tel que blogspot.com (des paramètres spéciaux leur sont attribués). Pour vérifier le paramètre de taux d'analyse, connectez-vous à Outils pour les webmasters et visitez l'onglet Paramètres. Si vous avez d'autres questions, visitez le centre d'aide pour les webmasters pour en savoir plus sur la façon dont Google explore votre site ou postez vos questions dans le forum d'aide pour les webmasters.
Sinon, vous devrez probablement créer votre propre système de filtrage qui détecte les agents utilisateurs et autorise ou refuse les robots des moteurs de recherche basés sur leur agent utilisateur. Mais cela n'affecterait que la diminution de leur fréquence.
Pour répondre à la deuxième partie de votre question, vous pouvez dire à Google à l'aide des outils pour les webmasters.
Pour changer le taux d'analyse:
Sur la page d'accueil de Webmaster Tools, cliquez sur le site souhaité.
Sous Configuration du site, cliquez sur Paramètres.
Dans la section Taux d'analyse, sélectionnez l'option souhaitée.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
Sur le Bing FAQ , il est fait référence à cet article qui recommande de définir Crawl-Delay: X où x est le nombre de secondes à attendre entre chaque demande.
Bien sûr, les sitemaps indiquent la fréquence à laquelle les pages changent.