web-dev-qa-db-fra.com

disallow

Puis-je avoir à la fois des déclarations "ne rien interdire" et "interdire quelque chose" dans mon fichier robots.txt?

Comment puis-je interdire certains sous-répertoires d'un dossier utilisant le fichier robots.txt mais pas tous?

Google ne peut pas accéder à ma page en raison de robots.txt, mais l'outil de test indique que c'est correct

Puis-je utiliser le fichier robots.txt pour autoriser Google à accéder à certains dossiers, mais interdire tout le reste?

Autoriser tous les bots à l'exception de Googlebot qui ne devrait pouvoir explorer la page d'accueil

Bloquer les URL qui commencent et se terminent par des préfixes courants et des suffixes à l'aide de robots.txt

Défonçant le chemin avec le paramètre