Y a-t-il une raison pour laquelle msnbot rampe dans les pics?
J'ai récemment connu des pics de régime élevés. Quelque chose comme ça: 
Quand j'ai débogué, j'ai trouvé des raisons de croire que la raison en est que le msnbot fait soudainement une analyse massive puis s'arrête. Je suppose que je ne suis pas le seul site à avoir un problème pour gérer soudainement 5 fois le RPM normal, alors pourquoi msnbot fait-il cela? Existe-t-il une explication valable ou une raison technique pour effectuer un tel HIT & RUN?
La msnbot était retirée de l'exploration Web active en 2010 et remplacée par bingbot - c'est ce que vous vouliez dire?
Quoi qu'il en soit, comme couvert ici , les facteurs qui peuvent affecter son taux de balayage sont:
- Le nombre total de pages sur un site (le site est-il petit, grand ou entre les deux?)
- La taille du contenu (les fichiers PDF et Microsoft Office sont généralement beaucoup plus volumineux que les fichiers HTML normaux)
- La fraîcheur du contenu (à quelle fréquence le contenu est-il ajouté/supprimé/modifié?)
- Le nombre de connexions simultanées autorisées (fonction de l'infrastructure du serveur Web)
- La bande passante du site (fonction du fournisseur de services de l'hôte; plus la bande passante est faible, plus la capacité du serveur à traiter les demandes de page est faible)
- Le classement du site est-il important (le contenu jugé non pertinent sera analysé aussi souvent que le contenu hautement pertinent)
Tenir compte de ce qui précède peut aider à expliquer les pics de vos demandes par minute.
Pour ralentir le taux d'analyse, indiquez dans le fichier robots.txt de votre site :
User-agent: msnbot
Crawl-delay: 1
Remplacez msnbot par bingbot si vous déterminez que c'est le bot/utilisateur-agent qui cause le pic. Et utilisez un crawl-delay de 5 (très lent) ou 10 (extrêmement lent) si les performances de votre serveur en pâtissent.