Robots.txt - CSS autorise ou interdit
Les CSS et les modèles sont-ils autorisés dans robots.txt?
Cela devrait-il causer des problèmes?
Dans Joomla, les CSS et les modèles ne sont pas autorisés dans le robots.txt. S'il vous plaît, aidez-moi à trouver une solution permettant de ne pas autoriser l'utilisation de robots pour CSS, modèles, etc. pour mes sites Web à venir.
Google a récemment mis à jour ses directives pour indiquer officiellement que vous ne devez pas bloquer l'accès aux fichiers CSS ou JS dans robots.txt . Cela garantit que, lorsque Google explore le site, il peut le rendre exactement comme le ferait un navigateur.
Si vous bloquez des fichiers CSS ou JS, le classement de votre site Web pourrait en souffrir.
Plus d'infos ici: Mise à jour de nos directives techniques pour les webmasters et ici: Directives pour les webmasters
Comme il s'agit d'une recommandation récente, de nombreux fichiers Web et CMS (tels que Joomla) verront souvent ces fichiers bloqués dans robots.txt . La raison en était que les moteurs de recherche n’avaient pas besoin d’analyser ou d’indexer ces fichiers. Ainsi, pour empêcher les fichiers et les répertoires inutiles d’être indexés et pour enregistrer le "budget d’analyse", ceux-ci étaient souvent bloqués dans robots.txt .
La stratégie de votre fichier robots.txt doit toujours répondre à la question suivante: quelles sections de mon site Web ne doivent pas être explorées par un robot et quelles sections peuvent être explorées par un robot.
Les robots implémentent leur propre logique et ont plusieurs objectifs (pas seulement Google a un robot ...) donc si vous supposez qu'un robot se "distrait" de vos fichiers CSS et JS, vous ouvrez la boîte noire du robot et supposez quoi l'implémentation actuelle et l'intention actuelle du robot sont. Ce n'est pas une stratégie utile à long terme.
Au lieu de penser dans le domaine du robot, essayez de penser au domaine de contenu de votre site Web.
Je tiens à signaler qu'un fichier robots.txt n'est pas un mécanisme de sécurité.
Les modèles sont utilisés par l'application de blogage ou de logiciel de gestion de contenu (CMS) et ne doivent pas être accessibles de l'extérieur, car les fichiers CSS sont lus par le navigateur et les moteurs de recherche et doivent être lus. Cela dit, je ne bloquerais ni l'un ni l'autre, mais je ne changerais rien de ceux qui sont gérés par le CMS. Les moteurs de recherche et les robots ne se soucient pas de vos modèles. Bloquez simplement l'accès à votre site par une URL/URI que vous ne voulez pas indexer ou lire, mais ne considérez pas le fichier robots.txt comme un outil de sécurité. Ce n'est pas conçu pour ça.