Pouvez-vous créer un site Web privé sans protection par mot de passe qui ne serait pas indexé?
J'aimerais créer un site Web "privé" que les clients peuvent visiter en tapant l'URL directe fournie (sur une carte de visite, par exemple), mais qui n'est pas protégé par un mot de passe et ne serait pas indexé par les moteurs de recherche. Est-ce possible?
Probablement pas.
Si l'un de vos clients publie l'URL dans presque quelque chose , les moteurs de recherche le découvriront probablement. Ils peuvent également le trouver lors de l'exploration de sites d'enregistrement de domaine, etc.
Comme le dit Google ici :
Si vous devez conserver un contenu confidentiel sur votre serveur, enregistrez-le dans un répertoire protégé par mot de passe . Googlebot et les autres araignées ne pourront pas accéder au contenu. Il s'agit du moyen le plus simple et le plus efficace d'empêcher Googlebot et les autres robots d'exploration d'explorer et d'indexer le contenu de votre site.
Même si vous essayez de bloquer l'analyse en utilisant robots.txt , noindex balises méta, ou en-têtes HTTP X-Robots-Tag , toute mention de votre site n’importe où peut entraîner son exploration et son indexation par différents moteurs de recherche. Comme l'indique Google:
Il est important de noter que même si vous utilisez un fichier robots.txt pour empêcher les araignées d'explorer le contenu de votre site, Google pourrait le découvrir autrement et l'ajouter à notre index. Par exemple, d'autres sites peuvent toujours créer un lien vers celui-ci. Par conséquent, l'URL de la page et, éventuellement, d'autres informations accessibles au public, telles que le texte d'ancrage dans les liens vers le site ou le titre du projet Open Directory, peuvent apparaître dans les résultats de la recherche Google. En outre, bien que tous les robots respectables respectent les directives d'un fichier robots.txt, certains peuvent les interpréter différemment. Cependant, un fichier robots.txt n’est pas exécutoire et certains spammeurs et autres fauteurs de troubles peuvent l’ignorer. Pour cette raison, nous recommandons de protéger les mots de passe des informations confidentielles (voir ci-dessus).
Le moyen le plus simple consiste à utiliser htaccess pour envoyer un en-tête HTTP afin d'indiquer aux moteurs de recherche de ne pas indexer ces pages. Placez le code suivant dans un fichier htaccess de votre répertoire Web racine:
Header: "X-robots-tag: noindex"
Cela appliquera cet en-tête à chaque page de ce répertoire et de ce sous-répertoire et empêchera l'indexation de ces pages.
Vous pouvez pour plus d'informations à ce sujet dans le blog Webmaster de Google .