Googlebot et Mediapartners-Google explorent les URL bloquées par le fichier robots.txt, pourquoi?
J'ai bloqué certaines des URL de robots.txt. Je pense qu'il n'y a aucun moyen d'accéder aux URL bloquées à partir de mon site Web. Mais j'ai vu dans mes journaux, tout ce que j'ai bloqué les URL du robots.txt sont explorés par Google bot. Et aussi observé "Google bot" déclenchant la première requête suivie de "Mediapartners-Google". Mais je n'ai pas la clarté de savoir si Googlebot a rampé dans une autre fuite ou dans "Mediapartners-Google".
Et je veux connaître la relation et les différences entre "Mediapartners-Google" et "Google bot".
Vous dites qu'il n'y a aucun moyen d'accéder aux URL verrouillées à partir de votre site Web? Je suppose que vous voulez dire que vous n’avez pas de liens pointant vers ces URL depuis votre propre site Web. C'est donc ce que je vais supposer.
Bloquer des URL ou une partie de votre site dans votre fichier robots.txt ne garantit en aucun cas qu’ils ne seront pas explorés. Dans certaines circonstances, la directive interdire dans le fichier robots.txt sera ignorée. Généralement, c'est parce que vous avez des liens externes (backlinks) pointant vers l'URL que vous souhaitez masquer. Si vous essayez d'empêcher l'indexation de l'URL par Google, utilisez l'en-tête HTTP X-Robots-Tag. Si vous pensez que vous devez supprimer la directive interdire dans votre fichier robots.txt, sinon il pourrait y avoir un conflit. Pour plus d'informations à ce sujet, consultez la section d'aide de la console de recherche Google: https://support.google.com/webmasters/answer/7424835?hl=fr#h12
Le bot Google est le bot "normal" de Google qui va explorer votre site web et récupérer les données utilisées pour l'index. Mediapartners-Google est un robot de Google AdSense ou de Google Mobile Adsense qui va explorer votre URL afin qu’il comprenne le contenu de votre page et affiche des annonces pertinentes pour vos visiteurs. Vous pouvez en savoir plus à ce sujet sur: http://www.botreports.com/user-agent/mediapartners-google.shtml