Plusieurs robots frappant simultanément le site
Ont eu un ensemble très étrange de journaux d’accès httpd aujourd’hui avant un plantage de pagespeed et Apache. Il semblait que les robots suivants semblaient indexer le site, comme des fous, en même temps.
- googlebot
- googlebot-image
- bingbot
- yahoo! Slurp
- yandexBot
- Baiduspider
- Araignée Sogu Web
- AhrefsBot
- SeznamBot
- msnbot
Plus un couple plus je ne peux pas localiser à la fois.
Cela me semble très suspect. Parmi les requêtes de bot, il y a des requêtes d'URL étranges qui ne sont pas sur le site, donc elles ne sont pas spidered (des choses comme Word, les URL d'administrateur de presse et même pas un site wp).
Les bot IPs ont l'air authentiques. Quelqu'un sait comment quelqu'un pourrait être en mesure de déclencher une tempête de bot? Jamais vu cela auparavant - cela semble très étrange, je ne peux pas croire que ce n'est qu'une simple coïncidence.
Il existe des cas où un grand nombre de moteurs de recherche essaieront d'indexer votre site à la fois. Comme cela a été mentionné dans les commentaires, il peut s'agir d'un ou plusieurs des nombreux outils de ping sur le Web qui indiquent à tous les moteurs de recherche qu'il existe un nouveau contenu à indexer.
Vous avez bien fait de vérifier que les adresses IP résolvent Bing et Google, car il s'agit de la chose la plus importante pour garantir que l'exploration provient d'un emplacement légitime.
Ce n'est pas forcément une source d'inquiétude; parfois, un grand nombre de moteurs de recherche peuvent essayer d'explorer votre site en même temps, surtout si quelqu'un ajoute un nouveau lien vers votre site pour une page de votre site. Les moteurs ne savent pas encore.