web-dev-qa-db-fra.com

Googlebot soumet des milliers de demandes à notre localisateur de carte et utilise le quota d'API

Nous avons une page de localisation de magasin sur le site de notre client. L'utilisateur final entre son code postal et un rayon de recherche et nous affichons les résultats sur une carte Google.

Récemment, nous avions commencé à remarquer que le site atteignait la limite de recherche de carte gratuite (environ 25 000 par 24 heures) sans augmentation notable du trafic global. J'ai activé une journalisation supplémentaire pour essayer de trouver le problème.

Il s’avère que Googlebot effectue des milliers de recherches sur cette carte. Ceci est un petit échantillon:

 2017-07-09 23: 56: 22,719 [7] INFO ShopLanding - [Fil de discussion 41] Google Maps: la recherche effectuée sur G23 a été approuvée par 66.249.66.221 
 2017-07-09 23:56: 35 469 [7] INFO ShopLanding - [Fil 10] Google Maps: le CA6 recherché a reçu OK de 66.249.66.221 
 2017-07-09 23: 57: 24 563 [7] INFO ShopLanding - [Fil 48] Google Maps: BN14 recherché a reçu OK du 66.249.66.223 
 2017-07-09 23: 58: 00,970 [7] INFO ShopLanding - [Fil 42] Google Maps: CB4 recherché a reçu un OK du 66.249.66.221 
 2017 -07-09 23: 58: 13,064 [7] INFO ShopLanding - [Fil 54] Google Maps: la recherche dans DY9 a été approuvée par 66.249.66.221 
 2017-07-09 23: 59: 18 722 [7] INFO ShopLanding - [Fil de discussion 59] Google Maps: le TS3 recherché a reçu OK du 66.249.66.223 
 2017-07-09 23: 59: 53,223 [7] INFO ShopLanding - [Fil 49] Google Maps: le S45 recherché a reçu le OK de 66.249 .66.221

Existe-t-il un moyen d'empêcher Google de faire passer autant de demandes? Cela consomme une proportion importante de l’allocation gratuite. Les recherches légitimes semblent être inférieures à 200 par jour.

EDIT

Le site est construit sur C # ASP.NET. La recherche en magasin utilise POST, l'URL ne change pas lors de l'envoi. Je peux poster un échantillon de IIS journaux demain matin pour confirmer ce comportement.

web-crawlersgoogle-maps
10
Burgi

Pour empêcher googlebot de rechercher via googlemaps, placez un fichier nommé robots.txt à la racine de votre domaine. par exemple. https://www.wikipedia.org/robots.txt

Exemple de fichier robots.txt:

User-agent: Googlebot
Disallow: /search-store/

Où/search-store/est la page qui envoie la demande à Google Maps.

S'il se trouve qu'il s'agit de quelque chose d'autre que Googlebot, vous pouvez essayer de désactiver toutes les analyses de cette page avec:

User-agent: *
Disallow: /search-store/

Notez que cela n'arrêtera pas les scripts qui ignorent le fichier robots.txt.

11
satibel