web-dev-qa-db-fra.com

Pourquoi le taux d’exploration Googlebot / images de Googlebot est-il si rapide? (10-30 req par seconde)

Ce matin dans les journaux, j’ai remarqué qu’un utilisateur avait un taux limité par notre étrangleur trois fois en une seconde (erreur de 429 demandes trop nombreuses) à 03:30:11 HNE: Mozilla/5.0 (Linux; Android 6.0; GCE x86 phone Build/MRA59G.MZC35) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2679.0 Safari/537.36 à l’adresse IP 104.196.83.207. Je n'ai vu Google qu'une seule fois sur cette adresse IP auparavant, alors je ne suis pas sûr de son objectif.

En le regardant, il semble que ce soit un Googlebot. Noté ci-dessous par Analog, il provient de Google Cloud. Les derniers chemins qu’il essayait avant d’être limités à 30 secondes étaient des images. Nous n'avons jamais eu de problèmes avec Google pour accélérer le site jusqu'à hier soir. Notre throttler est configuré pour déclencher une erreur 30 secondes 429 si un utilisateur répond à 10 demandes dans une fenêtre de 5 secondes (session var variable). 3 journaux signifient qu'ils atteignent cette limite 3 fois en 1 seconde (30 demandes totales par seconde).

À l'heure actuelle, le paramètre Console de recherche indique qu'il est sur "laissez Google décider" - cliquer sur la radio pour modifier le taux le place au milieu d'une "1 demande toutes les 10 secondes". Sur son réglage maximum, il autorise 2 demandes par seconde (zone d'accélérateur).

Je vais ajuster manuellement le taux d'analyse à 1 toutes les 10 secondes, mais entre-temps, pourquoi ce robot rampe-t-il si vite et pourquoi est-il sur Android mobile ne parcourant que les images?

googlebotperformancecrawl-rate
1
dhaupin

Si je comprends bien, toutes les adresses IP des robots de robot google bot peuvent être identifiées par le RDNS, défini comme suit: "crawl IP ADDRESS) .googlebot.com".

L'agent d'utilisateur que vous avez mentionné n'est également pas utilisé par Googlebot. Google répertorie les chaînes useragent de tous leurs robots --- (ici .

L'adresse IP que vous avez publiée fait partie du netblock utilisé par les clients de Google Cloud, comme indiqué dans les commentaires de l'ASN.

NetRange:       104.196.0.0 - 104.199.255.255
CIDR:           104.196.0.0/14
NetName:        GOOGLE-CLOUD
NetHandle:      NET-104-196-0-0-1
Parent:         NET104 (NET-104-0-0-0-0)
NetType:        Direct Allocation
OriginAS:       AS15169
Organization:   Google Inc. (GOOGL-2)
RegDate:        2014-08-27
Updated:        2015-09-21
Comment:        ** The IP addresses under this netblock are in use by Google Cloud customers ** 
Comment:        
Comment:        Direct all copyright and legal complaints to 
Comment:        https://support.google.com/legal/go/report
Comment:        
Comment:        Direct all spam and abuse complaints to 
Comment:        https://support.google.com/code/go/gce_abuse_report
Comment:        
Comment:        For fastest response, use the relevant forms above.
Comment:        
Comment:        Complaints can also be sent to the GC Abuse desk 
Comment:        ([email protected]) 
Comment:        but may have longer turnaround times.
Comment:        
Comment:        Complaints sent to any other POC will be ignored.
3
Analog