web-dev-qa-db-fra.com

Quels sont les processus appropriés pour interdire un site de google crawl

J'ai fait google et obtenir les deux solutions pour interdire tout un site de

google crawl.

1:

  User-agent: *
    Disallow:

2:

User-agent: *
Disallow: /

Maintenant, quelqu'un peut-il me dire quel code approprié pour interdire tout le site à partir de Google crawl

googleweb-crawlersrobots.txt
1
Amit Bera

Pour éviter que votre site entier soit exploré, alors Non. 2 :

User-agent: *
Disallow: /

Cela empêche toutes les URL d'être explorées. Le chemin URL suivant la directive Disallow: est un préfixe . Si l'URL demandée commence par ce chemin URL, il sera bloqué. Le chemin d’URL minimum que vous pouvez avoir est / (votre page d’accueil/racine de document) - vous ne pouvez pas avoir un chemin vide (comme suggéré dans les commentaires). Lorsque vous demandez example.com, le navigateur demande en fait à example.com/ de valider la demande. Voir mon autre réponse pour plus d'informations sur la barre oblique .

Disallow: seul (sans chemin) réellement permet tout - le contraire total!

Référence:
http://www.robotstxt.org/robotstxt.html

2
MrWhite