Surcharge du serveur causée par des bots?
J'ai un site Web client qui cause des frais généraux (http://www.modacalcio.it/en/by-kind/football-boots.html).
Lorsque htop est ouvert, j'essaie de naviguer sur le site Web. Le gros du site Web est généré par le lien ajax placé à gauche du site Web.
Le site Web est hébergé par un VPS avec 3 proc et 2 Go de RAM, avec assez de place pour l’espace disque.
Le vrai problème est que ce site est nouveau et peu visité.
Depuis le module http-status, je constate que la surcharge est causée par des bots (Google bots, Bing bots, vérificateurs de hrefs, etc.).
J'ai donc pensé que c'était probablement dû à ces araignées qui essayaient d'explorer tous ces liens en même temps - cela pourrait-il être à l'origine de cette surcharge?
J'ai aussi mis rel="nofollow" dans ces liens, mais cela ne tient pas les bots à l'écart.
Existe-t-il un moyen via le code ou Plesk de désactiver ces liens vers ces robots?
La surcharge est probablement causée par les données et la façon dont elles sont servies:
L'exécution d'un diagnostic, tel que ici , indique que chaque demande pour cette page entraîne 150 demandes distinctes, dont la taille de page dépasse 2,2 Mo, le chargement pouvant prendre jusqu'à 9 secondes. En regardant vos en-têtes ici , il apparaît que vous avez spécifié no-cache dans Cache-Control et Pragma.
Vous voudrez peut-être activer le cache HTTP et également utiliser la compression gzip avec votre serveur Nginx (comme indiqué dans les en-têtes en tant que votre serveur). Voir ceci pour plus: Configuration du cache HTTP et de gzip avec nginx Voir aussi cet article de Google: Comment fonctionne la compression gzip
Vous pouvez également vérifier le contenu de votre serveur configuration du module principale pour vous assurer que keepalive_disable est défini sur none et keepalive_requests est défini au moins le nombre par défaut (100). Pour Apache dans Plesk, this thread vous aidera avec cela.
La surveillance des ressources de votre système après ces modifications devrait indiquer si votre configuration VPS est suffisante ou si elle doit être mise à niveau.
Si vous souhaitez toujours empêcher les robots d'explorer les liens, spécifiez-les comme non autorisés dans votre fichier robots.txt, comme indiqué ici .