Comment Googlebot trouve-t-il les URL uniquement visibles par les utilisateurs authentifiés?
Voici l'un de mes clients, effectuant une action après s'être connecté à son compte. Le jeton unique est simplement un identifiant d'utilisateur crypté + horodatage.
94.254.xxx.xxx - - [02/Jul/2011: 22:25: 46 +0200] "GET/une-action/unique-token-123abc HTTP/1.1" 200 410 "-" "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) "
Maintenant, Googlebot a en quelque sorte découvert ce lien unique et a essayé d'accéder à la même URL une semaine plus tard.
66.249.71.179 - - [10/Jul/2011: 09: 56: 01 +0200] "GET/une-action/unique-token-123abc HTTP/1.1" 302 - "-" "Mozilla/5.0 (compatible; Googlebot/2.1; + http: //www.google.com/bot.html) "
(Le code d'état est 302 car le jeton a expiré)
Permettez-moi de souligner qu'il s'agit d'une URL unique qui était visible exactement une fois, pendant seulement 2 secondes, avant que l'utilisateur ne la clique dessus et ne se rende sur cette page. Il n'a pas été envoyé par courrier électronique ni publié publiquement.
Que se passe-t-il ici, comment est-il possible que Google ait trouvé cette URL unique?
Je viens de me rendre compte que l'utilisateur doit avoir trouvé un lien sortant sur cette page authentifiée, puis divulgué l'URL privée sous la forme Referer lors du clic sur un autre site Web. Ceci est la seule explication possible et aurait dû être évident dès le début.
Une fois fuite, l'URL privée peut avoir été exposée à Google de différentes manières, par exemple. le site cible peut avoir publié ses journaux d'accès publiquement. Remarque: aucun des liens sortants n'utilisait Google Analytics, cela n'indique donc pas que Googlebot utilise des URL de parrainage à partir d'Analytics.
Leçon réapprise :) ne mettez jamais de données sensibles dans des URL à moins que vous n'utilisiez https, auquel cas le navigateur aurait laissé Referer vide.
Il est difficile de dire avec certitude, mais voici des scénarios probables:
L'utilisateur dispose d'une barre d'outils ou d'une extension de navigateur qui indique les URL qu'il visite à Google.
Une personne liée à cette URL et Google l'a trouvée en explorant la page contenant ce lien.