Puis-je avoir à la fois des déclarations "ne rien interdire" et "interdire quelque chose" dans mon fichier robots.txt?
J'ai dû mettre à jour une mise à jour vers un fichier robots.txt pour interdire l'accès au sous-répertoire. Il y avait déjà une déclaration d'interdiction mais j'en ai ajouté une autre. Le fichier robots.txt mis à jour ci-dessous est-il correct?
Le fichier robots.txt précédent:
User-Agent: *
Disallow:
Sitemap: http://example.com/sitemap.xml
Le fichier robots.txt mis à jour (notez l'ajout de la 3ème ligne):
User-Agent: *
Disallow:
Disallow: /terms/*
Sitemap: http://example.com/sitemap.xml
Vous pouvez, mais la deuxième déclaration rend la première obsolète. Essentiellement, en termes lisibles par l'homme, vous dites:
Tous les robots
N'interdit rien - crawl donc tout ce que tu veux
Mais interdire le répertoire "terms" - ne pas explorer cela
Plan du site ici
Ci-dessus, vous pouvez supprimer la deuxième ligne pour indiquer aux robots de ne pas explorer le répertoire "terms".
Ainsi, cela fonctionnerait:
User-Agent: *
Disallow: /terms/
Sitemap: http://example.com/sitemap.xml