web-dev-qa-db-fra.com

Comment puis-je interdire certains sous-répertoires d'un dossier utilisant le fichier robots.txt mais pas tous?

J'ai un dossier nommé Frontend et sous ce dossier, j'ai des noms de sous-dossiers. Comme:

Images
CSS
JS
Font

Je veux interdire le sous-dossier:

/forntend/css/
/forntend/js/
/forntend/font/

mais je ne veux pas interdire /forntend/images/ ou /forntend/

Si j'ajoute ce texte à robots.txt. Est-ce correct ou pas?

Disallow: /forntend/css/, 
Disallow:/forntend/js/, 
Disallow: /forntend/font/
seorobots.txtdisallow
2
Mangesh Shahi
Disallow: /forntend/css/, 
Disallow:/forntend/js/, 
Disallow: /forntend/font/

Il ne doit y avoir aucune virgule (,) à la fin de l'argument path . (Ce n'est pas un tableau d'éléments .) L'EOL sépare chaque directive. La directive correspond au préfixe, donc tout , final (virgule) correspondra à une virgule.

Ce n'est pas obligatoire, mais vous devez laisser un espace après le nom de la directive pour des raisons de lisibilité et de cohérence. c'est à dire. Disallow: /forntend/js/ et non Disallow:/forntend/js/.

Vous avez évidemment besoin d'une directive User-agent: au début de ce groupe, sinon ces directives seront ignorées.

Le chemin étant également sensible à la casse, /forntend/css/ ne correspond pas à /Forntend/css/mystyles.css.

Il est contre les recommandations de Google de bloquer les fichiers CSS et JavaScript (et probablement les polices) qui affectent le rendu de la page, car cela empêche également Google de restituer (et par conséquent d'indexer) la page correctement. Comme indiqué dans le Aide Google :

si l'absence de ces ressources rend la page plus difficile à comprendre pour le robot d'exploration de Google, vous ne devez pas les bloquer, sinon Google ne fera pas un bon travail d'analyse des pages qui dépendent de ces ressources.

Donc, ce qui précède devrait être écrit comme:

User-agent: *
Disallow: /forntend/css/
Disallow: /forntend/js/ 
Disallow: /forntend/font/

Ceci bloque tous les robots contre l'exploration de toutes les URL commençant par /forntend/css/, /forntend/js/ ou /forntend/font/ et autorise tout le reste. "Autoriser" est le comportement par défaut.

Notez que cela empêche "l'exploration", cela n'empêche pas nécessairement "l'indexation" si l'URL est liée à d'autres sites. Comme indiqué dans le Aide Google :

Une page robotisée peut toujours être indexée si elle est liée à partir d'autres sites.

Testez avec l'outil robots.txt de Google à GSC.

Référence supplémentaire:

1
MrWhite