web-dev-qa-db-fra.com

Pourquoi est-ce que je reçois des coups bot de compute-1.amazonaws.com?

J'ai un site Web WordPress avec AWS en service, à savoir le service Cloudfront, pour servir les CSS, les images et JS depuis le cloud.

Dernièrement, j'ai remarqué beaucoup de hits de bots provenant de:

  • IP: 54.236.71.87 Nom d'hôte: ec2-54-236-71-87.compute-1.amazonaws.com
  • IP: 54.147.229.75 Nom d'hôte: ec2-54-147-229-75.compute-1.amazonaws.com
  • IP: 34.207.96.105 Nom d'hôte: ec2-34-207-96-105.compute-1.amazonaws.com
  • IP: 52.202.239.36 Nom d'hôte: ec2-52-202-239-36.compute-1.amazonaws.com
  • IP: 34.203.222.34 Nom d'hôte: ec2-34-203-222-34.compute-1.amazonaws.com
  • ...

Goeip les trace à Ashburn, USA. Ils explorent tous les flux RSS de mon site Web (publications, catégories), presque chaque minute, venant de https://www.google.com/ .

Leur user-agent est un peu aléatoire:

Browser: undefined
Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9a3pre) Gecko/20070330

ou :

Browser: Chrome version 0.0 running on MacOSX
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1309.0 Safari/537.17

ou :

Browser: undefined
Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.6; en-US; rv:1.9.2.13; ) Gecko/20101203

Comment puis-je savoir ce qu'ils veulent? Sont-ils liés à la génération de cache pour Cloudfront?

Je me demande parce qu'au cours des 9 derniers jours, plus de la moitié de la bande passante de mon hébergement a été consommée par des bots non identifiés.

wordpressweb-crawlersamazon-aws
4
Aurélien Pierre

Celles-ci me paraissent être des robots/robots qui s'exécutent sur des instances EC2, plutôt que tout ce qui concerne Cloudfront. AWS publie une liste des plages IP utilisées par Cloudfront ici: https://docs.aws.Amazon.com/AmazonCloudFront/latest/DeveloperGuide/LocationsOfEdgeServers.html

Ils collectent probablement du contenu ou des adresses électroniques, recherchent des applications vulnérables, ouvrent des formulaires de commentaires dans lesquels ils peuvent publier des commentaires non sollicités, ou autre chose qui ne vous avantage pas. Malheureusement, il n'est pas rare qu'une grande partie de votre trafic vienne de bots comme celui-ci.

Vous souhaiterez peut-être bloquer ces adresses IP dans le groupe de sécurité pour votre instance ou votre ELB. Si ces adresses IP frappent vos serveurs Origin plutôt que de passer par Cloudfront, et que vous utilisez uniquement Cloudfront pour accéder à ces serveurs, vous pouvez envisager d'utiliser quelque chose comme ceci qui bloque tout sauf les adresses IP Cloudfront https://github.com/ awslabs/aws-cloudfront-samples/tree/master/update_security_groups_lambda

3
Jonathon Sim