Liste des origines potentielles des domaines d'accueil à travers lesquels Google Bot Crawls?
Quelle est la liste potentielle des origines des domaines d'accueil à travers lesquels Google Bot rampe?
E.G. : Comme Google Cache utilise le domaine suivant pour ramper les API: http://webcache.googleusercontent.com/
Je veux ajouter ces domaines Google dans mes API, de sorte que Google Bot rampe facilement mon site Web. Alors Bot ou Crawler ne reçoivent pas une erreur d'origine croisée.
Selon la documentation officielle, Googlebot rampe toujours à l'aide de la googlebot.com ou alors google.com domaines.
Il convient de mentionner que la documentation recommande également d'utiliser une recherche DNS inverse sur l'IP de Bot pour vérifier pleinement l'authenticité du bot.