Google indexe le contenu non prévu qui n'est pas publié ou qui fait partie intégrante du site.
Google indexe des parties de mon site auxquelles je ne suis pas lié, c'est une version mobile du site Web sur laquelle je travaille - www.domain.com/m/ <- notez le M.
Comment est-ce possible? La seule chose à laquelle je peux penser, c'est que Google obtienne l'URL de Google Analytics.
Même problème avec mon site de développement, dev.domain.com - J'ai corrigé cela en réactivant htpasswd. Je l'ai eu une fois, mais je l'ai désactivé à des fins de test.
Je sais que je pourrais utiliser robots.txt pour ignorer l'indexation, mais on m'a toujours dit: "Ne mettez pas de contenu super secret dans cette opération, car il s'agit du domaine public".
Google suivra-t-il les règles d'un <meta name="robots" content="noindex,nofollow">? Penser à mettre ceci sur la version mobile.
Les personnes accédant à www.domain.com depuis un smartphone sont automatiquement redirigées vers la version mobile.
Il existe différentes théories sur la manière dont Google sait quoi explorer. Il se peut que quelqu'un lié à votre version mobile. Il se peut que Google ait essayé des URL aléatoires et soit tombé sur la version/m de votre site. Je ne suis pas au courant qu'ils disent qu'ils n'utiliseront pas d'URL à partir de leurs données d'analyse.
Oui, ils suivent ces règles: http://googlewebmastercentral.blogspot.com/2007/03/using-robots-meta-tag.html .
Il est dans l’intérêt de Google d’indexer l’ensemble du Web public, y compris les contenus ne contenant aucun lien hypertexte à partir de contenus indexés existants.
L'utilisation de http://m.example.com ou http://example.com/m/ pour l'URL d'une version mobile d'un site est courante.
Il est donc raisonnable de supposer que le robot d'exploration de Google verra si http://m.example.com ou http://example.com/m/ existe et tentera d'indexer ce contenu, le cas échéant.
Il est également raisonnable de supposer que Google Mobile tentera de déterminer si une URL http://m.example.com ou http://example.com/m/ d'apparence appropriée existe pour un contenu connu et la présente comme un lien vers un utilisateur dans les résultats de recherche. Il n'y a aucune raison de penser qu'une telle divination ne serait pas répercutée sur le robot.
Si vous avez installé Google Analytics sur votre site, c'est certainement ainsi qu'il le connaît. Je ne connais pas le code par cœur, mais si j'en ai l'occasion plus tard, je le rechercherai et l'éditerai, mais vous pouvez insérer du code sur vos pages pour empêcher l'exploration de pages que vous souhaitez voir privées. .