Comment masquer les pages de Google Crawler?
Duplicate possible:
Quelles sont les choses les plus importantes que je dois faire pour encourager les liens de site Google?
Je travaille actuellement sur un site Web et je dois garder certaines pages cachées dans Google Crawler. Comment faire en sorte que les moteurs de recherche ne voient que ce que je veux qu'ils voient dans un répertoire?
En outre, vous savez comment les résultats de Google vous donnent également des liens de raccourci, comme "Connexion", "À propos de", etc. ... comment mettre ces liens dans les résultats de recherche?
Vous pouvez également utiliser <meta name="robots" content="noindex,follow" />
Vous pouvez créer un robots.txt qui interdit ces emplacements.
Attention, tous les robots d'exploration ne respecteront pas le fichier robots.txt.
En outre, le fichier robots.txt est le premier endroit où un attaquant cherchera.
Vous devriez protéger ces pages avec un système d'authentification sécurisé.
Si vous souhaitez que Google ne répertorie pas les URL Certian sur votre site, ajoutez-les à robots.txt à la racine de votre site.
Example robots.txt:
User-agent: *
Disallow: /donotindex/
Notez que ceci n’est pas sécurisé, vous "demandez" simplement à Google de ne pas les indexer/les répertorier. Google se conformera à cette demande. Toutefois, les utilisateurs sophistiqués et certains robots peu intelligents utiliseront ou répertorieront les URL, quels qu'ils soient.
Si vous devez masquer le contenu, vous devez le placer derrière une page de connexion (que les robots d'exploration ne peuvent pas utiliser) ou modifier votre contenu en fonction de l'agent utilisateur du client (du navigateur). Je pense que Google a expressément interdit ce dernier point, qui risque de punir votre site.