Google Adsbot rampe soudainement des pages impaires
J'ai un vérificateur d'erreur sur ma page de réinitialisation de mot de passe qui me dit chaque fois que quelqu'un vient réinitialiser son mot de passe sans jeton valide.
J'ai remarqué ces derniers jours que Google AdsBot envoyait des spams à cette page assez régulièrement (depuis le lancement du site) avec des jetons invalides, mais avec un format valide (ne me demandez pas où il les a obtenus).
J'ai vérifié la validité de l'agent utilisateur en envoyant une requête ping au serveur d'origine (66.249.90.34) et en vérifiant son certificat SSL (puisque tous les robots Google utilisent maintenant SSL).
Certains sites disent que le robot Annonces analyse la page de destination d'une annonce. Toutefois, ma page de réinitialisation de mot de passe n'est en aucun cas utilisée comme page de destination pour mes annonces.
J'ai lu à ce sujet lors d'une recherche sur Google mais, comme d'habitude, chaque site est en contradiction avec l'autre.
Devrais-je bloquer le bot depuis cette page s'il n'est pas nécessaire?
Est-ce une bonne pratique de bloquer le bot des annonces google sur certaines pages ou y a-t-il une autre raison à cela?
Le robot d'exploration AdsBot avec l'agent d'utilisateur AdsBot-Google (+http://www.google.com/adsbot.html) fait partie d'AdWords et non d'AdSense. Il est censé être utilisé pour vérifier le contenu de la page de destination afin de déterminer le niveau de qualité.
Ce bot semble également visiter des pages qui ne sont pas des pages de destination, y compris des pages sans publicité, sans publicité pour eux et sans lien vers celles-ci. Sur la base des paramètres de chaîne de requête qu'il tente d'utiliser, je soupçonne qu'il peut obtenir ses URL auprès d'Analytics, bien que je ne sache pas pourquoi Google utilise son AdBot pour analyser les pages consignées dans Analytics mais non liées à la publicité. en tous cas.
Si vous ne diffusez pas d'annonces sur la page ou sur la page, vous pouvez essayer de protéger la page avec un code de réponse conditionnel 410 Gone basé sur l'agent d'utilisateur si la page est de nature temporaire et fonctionne uniquement avec un jeton. . Une fois le jeton utilisé, Gone constituerait une réponse appropriée car la page n'existe plus.
Mediapartners-Google (le bot AdSense) explorera toutes les pages où vous diffuserez leurs annonces. Il est probable que ces pages soient explorées, car elles contiennent des annonces.
Lorsque vous dites "avec un jeton invalide, mais avec un format valide", peuvent-ils être des jetons expirés? Cela aurait du sens. L'utilisateur utilise ces jetons (ce qui les invalide), puis le bot vient vérifier la page.
Vous pouvez certainement ajouter des règles pour Mediapartners-Google à votre fichier robots.txt. Google demande que vous lui permettiez d'explorer tout votre site afin qu'il puisse diffuser des annonces n'importe où. S'il n'est pas autorisé à explorer quelque part, il ne montrera simplement pas les annonces là-bas.
Je ne trouve pas de référence à ce sujet pour le moment, mais j'estime qu'AdSense ne vous permet pas de diffuser des annonces sur des pages telles que votre page de connexion ou votre page de réinitialisation du mot de passe. Seules les pages dont le contenu est pertinent pour votre site peuvent diffuser des annonces. Si des annonces qui déclenchent ces analyses sont diffusées, vous risquez alors de ne pas respecter les conditions d'utilisation d'AdSense.