web-dev-qa-db-fra.com

Est-il possible de bloquer un site entier pour Google puis lister les exceptions?

Je refuse généralement les sous-répertoires du fichier robots.txt et je me demandais s’il était possible de le faire dans l’inverse: bloquez tout et listez le fichier d’index principal et les autres pages que je voudrais que les moteurs de recherche indexent. Est-ce possible?

Mon fichier robots.txt actuel est le suivant:

User-agent: *
Disallow: /example/
Disallow: /example/
Disallow: /example/
Disallow: /example/
Disallow: /example/
Disallow: /example/
Disallow: /example/
Disallow: yea.html
Allow: /
seogoogleweb-crawlers
5
Renan

Oui. Vous pouvez tout d'abord tout interdire, puis autoriser l'indexation des dossiers que vous souhaitez.

User-agent: *
Disallow: /
Allow: /index.html
Allow: /example/
Allow: /example2/
Allow: /example3/

Cela s'explique par le fait que Google (et Bing) respectent les règles de spécificité de style CSS lors de la lecture de fichiers robots.txt, dans lesquelles des règles plus spécifiques prévalent sur des règles moins spécifiques. De Google documentation robots.txt :

"... pour les directives autoriser et interdire, la règle la plus spécifique basée sur la longueur de l'entrée [chemin] remplacera la règle moins spécifique (plus courte). L'ordre de priorité des règles avec des caractères génériques n'est pas défini."

Ils donnent un tableau d'exemples sur cette page. Notez que l'ordre des règles n'a aucune incidence sur leur interprétation. seule leur longueur est importante. Vous pouvez mettre la règle 'Disallow' dans mon exemple ci-dessus à la fin du fichier et cela fonctionnerait toujours comme prévu.

N'oubliez pas de testez votre fichier robots.txt en utilisant Google Webmaster Tools :

Pour tester le fichier robots.txt d'un site:

  1. Sur la page d'accueil de Webmaster Tools, cliquez sur le site souhaité.
  2. Sous Configuration du site, cliquez sur Accès du robot d'exploration.
  3. S'il n'est pas déjà sélectionné, cliquez sur l'onglet Tester le fichier robots.txt.
  4. Copiez le contenu de votre fichier robots.txt et collez-le dans la première zone.
  5. Dans la zone URL, répertoriez le site à tester.
  6. Dans la liste User-agents, sélectionnez les agents-utilisateurs souhaités.
7
Nick