Comment interdire un répertoire entier avec le fichier robots.txt?

Question

Je travaille actuellement sur deux sites: un panier et un autre client. Les deux sont sous le même nom de domaine, par exemple

http://example.com/first_url 
http://example.com/second_url 

Ces deux URL ont des tonnes de pages en dessous

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

Comment puis-je interdire l'URL principale /first_url et /second_url ainsi que tous les sous-pages et sous-répertoires? Je pensais à quelque chose comme ceci mais je ne sais pas si cela fonctionne ou non et si c'était la syntaxe correcte

Disallow: /first_url/*/
Disallow: /second_url/*/

Answer 1

Vous n'avez pas besoin de la barre oblique finale pour bloquer ces répertoires. Cela fonctionnera:

Disallow: /first_url/*
Disallow: /second_url/*

Ceci page d'aide Google couvre cela assez bien.