Domaine de visite AdsBot-Google qui n'a plus d'annonces
Lors de l'analyse du trafic généré par des robots sur notre site Web, nous avons découvert l'étrange problème. Nous avons constaté que le domaine d'analyse AdsBot-Google que nous avons arrêté de faire de la publicité au milieu de 2016.
À l'heure actuelle, il existe un fichier robots.txt qui interdit à tous les robots d'explorer notre site, mais les annonces ne tiennent malgré tout pas compte de ces paramètres.
Où puis-je chercher d'autres enquêtes? Est-il prudent de bloquer ces robots avec le statut 403 http?
Ce robot est peu susceptible de nuire à votre site de quelque manière que ce soit. Je continuerais à le permettre. Vous devrez le faire si vous souhaitez reprendre la publicité.
Selon http://www.botreports.com/user-agent/adsbot-google.shtml , il n'honore pas les directives user-agent: * du fichier robots.txt. Vous devez donner le plus spécifique:
User-agent: AdsBot-Google
Disallow: /
Une autre chose à vérifier est que le bot est en fait de Google. Google utilise une méthode de recherche d'adresse IP pour vérifier que les bots proviennent bien de Google: https://support.google.com/webmasters/answer/80553?hl=fr Il est possible qu'un autre robot d'exploration s’est approprié l’agent utilisateur à des fins néfastes.
Si vous souhaitez bloquer et que le fichier robots.txt ne fonctionne toujours pas, une erreur 403 convient.