web-dev-qa-db-fra.com

Comment identifier si l'adresse IP est vraiment l'adresse IP de Google

D'après ce que j'ai appris dans les journaux de mon serveur, les adresses IP commençant par 64.249 appartiennent à Google. Lorsque je lance une recherche d'hôte sur Google sur mon ordinateur, je reçois 11 adresses IP différentes, toutes commençant par 74.125.226.

Je vais ensuite ici http://www.iplists.com/ et découvre qu'il y a beaucoup plus d'adresses IP pour Google.

J'ai même fait une recherche whois dans une invite de commande pour Google et voir "Abandon de la recherche 50 enregistrements trouvés .....", ainsi que de nombreux serveurs portant des noms inhabituels, tels que GOOGLE.COM.ANGRYPIRATES.COM et GOOGLE.COM. AFRICANBATS.ORG. avec différentes adresses IP que je n'ai jamais vues auparavant, telles que 91.218.229.20.

Ce que je veux faire, c'est la liste blanche de véritables adresses IP Google. Devrais-je simplement lister chaque adresse IP que j'ai trouvée jusqu'ici ou y a-t-il d'autres précautions à prendre avant de répertorier une adresse google?

Je ne veux pas que d'autres personnes recherchent pour moi des adresses IP telles que la source http://www.iplists.com/ car les adresses IP peuvent changer à tout moment et je souhaite mettre à jour ma liste blanche fréquemment.

googleweb-crawlersip-address
7
Mike

De la documentation officielle pour vérifier Googlebot/Google :

Notez que Google ne recommande pas l'utilisation d'une "liste blanche" statique .

Vous pouvez vérifier si un robot d'exploration de sites Web accédant à votre serveur est réellement Googlebot (ou un autre agent d'utilisateur Google). Ceci est utile si vous craignez que des spammeurs ou d'autres fauteurs de troubles accèdent à votre site alors qu'ils prétendent être Googlebot. Google ne publie pas de liste publique d'adresses IP que les webmasters peuvent ajouter à la liste blanche. En effet, ces plages d'adresses IP peuvent changer,, ce qui pose des problèmes à tous les webmasters qui les ont codées en dur. Vous devez donc exécuter une recherche DNS comme décrit ci-après.

Pour vérifier que Googlebot est l'appelant:

  1. Exécutez une recherche DNS inversée sur l'adresse IP d'accès à partir de vos journaux, à l'aide de la commande Host.
  2. Vérifiez que le nom de domaine est dans googlebot.com ou google.com.
  3. Exécutez une recherche DNS avant sur le nom de domaine récupéré à l'étape 1 à l'aide de la commande Hôte sur le nom de domaine récupéré. Vérifiez qu'il s'agit de la même adresse que l'adresse IP d'accès d'origine à partir de vos journaux.

(Soulignant mon propre)

Voir les documents Google pour un exemple pratique:
https://support.google.com/webmasters/answer/80553?hl=fr

7
MrWhite

Les premières choses d'abord.

Nous parlons de deux noms de domaine; Google.com et Googlebot.com. Faire une recherche inversée pour Google.com serait trompeur.

Voici une réponse que j'ai donnée il y a un certain temps, dans laquelle j'ai effectué un audit des adresses IP de Google utilisées pour analyser mon site pendant 8 ans. Ce n'est pas la liste complète, mais pourrait donner une vue historique.

Pourquoi Google utilise-t-il les adresses IP 173.194.90.xxx? Pourquoi n'est-il pas un pointeur googlebot.com?

Dans cette liste, vous pouvez voir que la plage d'adresses IP 64.249 que vous voyez est correcte.

J'ai fait un rapide audit pour cette réponse. Ceci est ma liste blanche actuelle pour googlebot (nom de l'agent). S'il vous plaît pardonnez le wildcarding. J'ai mis à jour mon code pour comprendre les plages plus efficacement, mais je n'ai pas mis à jour la liste. Pardon. Dans ce cas, je viens d'utiliser une simple expression régulière pour comparer l'adresse IP à la liste avec un minimum de ruse pour remplacer le * avec quelque chose que regex comprend. Je peux comparer une adresse IP à la liste complète à l'aide de mon code, de manière à ce qu'elle soit encore assez rapide.

64.233.160.*
64.233.161.*
64.233.162.*
64.233.163.*
64.233.164.*
64.233.165.*
64.233.166.*
64.233.167.*
64.233.168.*
64.233.169.*
64.233.170.*
64.233.171.*
64.233.172.*
64.233.173.*
64.233.174.*
64.233.175.*
64.233.176.*
64.233.177.*
64.233.178.*
64.233.179.*
64.233.180.*
64.233.181.*
64.233.182.*
64.233.183.*
64.233.184.*
64.233.185.*
64.233.186.*
64.233.187.*
64.233.188.*
64.233.189.*
64.233.190.*
64.233.191.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.67.*
66.249.68.*
66.249.69.*
66.249.70.*
66.249.71.*
66.249.72.*
66.249.73.*
66.249.74.*
66.249.75.*
66.249.76.*
66.249.77.*
66.249.78.*
66.249.79.*
66.249.80.*
66.249.82.*
66.249.83.*
66.249.84.*
66.249.85.*
66.249.86.*
66.249.87.*
66.249.88.*
66.249.89.*
66.249.90.*
66.249.91.*
66.249.92.*
66.249.93.*
66.249.94.*
66.249.95.*
74.125.*
173.194.*

GOOGLE.COM.ANGRYPIRATES.COM et GOOGLE.COM.AFRICANBATS.ORG sont ce qu'on appelle un hack de domaine ou de sous-domaine. Ceux-ci n'appartiennent pas à Google du tout. C'est quelque chose que n'importe qui peut faire à n'importe quel nom de domaine à tout moment. Sans entrer dans les détails de la procédure, vous pouvez trouver des informations sur le net. Je ne veux pas encourager ce comportement en l'expliquant ici.

4
closetnoc