Puis-je empêcher en toute sécurité Google AdsBot de créer des liens spécifiques?
Ma question est similaire à Google Adsbot explore soudainement des pages impaires , mais mon cas d'utilisation est différent.
Je lance un site de comparaison de prix. J'ai des annonces qui redirigent les utilisateurs vers ma page d'accueil et d'autres qui les dirigent vers une page de produit.
En parcourant les journaux d'accès de mon serveur, j'ai remarqué que Adsbot chargeait ces pages de destination comme prévu, mais également les liens présents dans cette page , même si elles ne sont jamais utilisées comme pages de destination .
Comme de nombreux sites de comparaison de prix, lorsqu'un utilisateur clique sur un lien pour consulter une offre d'un marchand, il est redirigé vers une page "Redirection ..." contenant un tag d'analyse et un suivi de conversion Adwords pour mes statistiques, puis redirige l'utilisateur. à la page du marchand actuel.
Le problème est, AdsBot suit ces liens à partir de mes pages de produits.
Je ne comprends pas pourquoi cela se produit car il est uniquement censé évaluer la qualité de mes pages de destination. Je peux certainement comprendre pourquoi il charge des éléments (scripts, feuilles de style, images) de la page pour mesurer la vitesse de la page, mais pourquoi suivrait-il le putain de liens sur la page après? Cela tue mes statistiques avec des "faux" clics.
Mon fichier robots.txt contient des exclusions pour tous les robots pour ces pages:
User-agent: *
Disallow: /product/*/go/
Comme nous le savons, AdsBot ignore l'exclusion générale et doit être exclu spécifiquement:
Afin d'éviter de réduire les niveaux de qualité et le classement des annonces et d'augmenter les CPC pour les annonceurs qui n'entendent pas limiter le nombre de visites AdWords sur leurs pages, le système ignore les exclusions générales et les caractères génériques (par exemple, User-agent: *) dans robots.txt. des dossiers.
Je pourrais spécifiquement interdire à AdsBot d'accéder à ces pages:
User-agent: AdsBot-Google
Disallow: /product/*/go/
Mais je suis très inquiet à l'idée de prendre cette mesure, car cette même page vous avertit du blocage de AdsBot en général:
Important: le blocage de la consultation de vos pages Web peut avoir de graves conséquences: annonces non affichées [...], annonces refusées [...], site suspendu [...].
... en plus de la diminution du QS et de l’augmentation de CPC susmentionnée.
Même si je n'empêche pas AdsBot de visiter légitimement mes pages de destination, est-ce que cela pourrait me pénaliser pour interdire les visites aux liens de mon site Web contenus dans mes pages de destination?
Modifier
Je me suis dit que j'utilisais aussi des annonces de recherche dynamique. Ce fil suggère que les données AdsBot pourraient être utilisées à la place des données Googlebot pour indexer les pages des résultats de recherche payés. Cela pourrait-il être la raison pour laquelle AdsBot explore plus que mes pages de destination?
Cela me ferait tout de même me demander pourquoi, dans ce cas particulier, AdsBot ne suivrait pas les exclusions générales (pourquoi voudrais-je un trafic payant sur les pages que je veux exclure de la recherche organique?) Mais me rendait plus confiant en refusant l'accès à AdsBot à certaines parties de mon site Web, si ce n'est pas là pour évaluer la qualité de mon site Web, mais plutôt pour découvrir du contenu à indexer pour la recherche dynamique.
Le Google AdsBot ne vérifie pas seulement un niveau en profondeur pour évaluer la page et ce n'est pas simplement pour évaluer si la page est une bonne page de destination ou non. L’AdBot a plusieurs rôles: premièrement, vérifier la page de destination réelle de l’annonce pour voir ce qu’elle se trouve sur la page de destination. Cela améliore la qualité de la diffusion de la publicité aux utilisateurs finaux en ciblant plus précisément les annonces sur les utilisateurs en fonction de ce que Google AdBot évalue le sujet. (cela est différent des mots clés utilisés lors de la création de la campagne publicitaire), deuxièmement, il s'assure que la page de destination associée ne viole pas les conditions de service, telles que le contenu pour adultes, le bot adsense vérifie également un lien supplémentaire au-delà de la page pour s'assurer qu'aucun lien sur la page ne renvoie à un contenu inapproprié. Ils utilisent également le niveau suivant pour évaluer plus en détail le sujet de la page pour le ciblage des annonces.
En règle générale, Google AdWords et Google AdSense ne peuvent pas être liés à une page située à un clic de souris d'une page enfreignant les conditions d'utilisation.