Pourquoi Verisign spidera-t-il mon site Web?
Dans mes journaux, je constate régulièrement que 69.58.178.57, qui est Verisign, parcourt toutes les pages de mon site Web, à l’exclusion des pages de formulaires. Est-ce que quelqu'un sait pourquoi ils font cela?
Cela pourrait être lié à l'analyse quotidienne des logiciels malveillants [ CNet , PDF @Verisign ] car ils s'exécutent automatiquement en tant que service pour les clients de leurs certificats SSL. Vous pouvez toujours désactiver temporairement le service afin de voir si les analyses de cette adresse IP cessent.
D'autres personnes ont vécu des expériences similaires: http://www.forumpostersunion.com/showthread.php?t=416
Soulignant en particulier le dernier message, où le bot semble être un élément important du classement SEO. Mon opinion personnelle est que quelqu'un spiderait des sites Web et usurperait leur adresse IP pour se cacher. Je ne crois pas que VeriSign loue une infrastructure ou des serveurs. Par conséquent, soit ils ont été compromis, mais ils sont tenus responsables.
Ma recommandation personnelle est tout simplement d’interdire le bot (ne pas utiliser de fichier robots.txt car je l’aurais presque fait en l’ignorant) par adresse IP (certaines personnes le signalent en utilisant toute la plage 69.58.178.* et ne pas s’inquiéter trop beaucoup à ce sujet, sauf si cela ralentit votre site Web.