web-dev-qa-db-fra.com

Les pages du répertoire Apache dans l'installation par défaut = dupliquer le contenu?

J'essaie de comprendre si Google ou tout autre service traiterait les pages de dossiers Apache comme un contenu dupliqué si, à chaque tentative d'accès, un nombre aléatoire de barres obliques sont utilisées. Par exemple, ces quatre URL produiraient exactement la même liste de fichiers:

http://example.com/folder
http://example.com//folder
http://example.com/folder/
http://example.com/folder//
http://example.com//folder///

Si c'est le cas, est-il préférable de créer un module Apache pour rediriger les URL ci-dessus vers un seul ou devrais-je créer un module qui reproduit la liste des répertoires mais ajoute une directive permettant aux robots de ne pas indexer les pages, ou existe-t-il une directive Apache spéciale? Je peux vous aider à résoudre ce problème ou puis-je ne rien faire et supposer que Google traite les listes de répertoires différemment des pages Web classiques?

Je ne veux pas désactiver les listes de répertoires, car certains clients ayant un manque de connaissances en informatique en ont besoin.

urlduplicate-contentapache2directorydirectory-listing
1
Mike

Potentiellement, le fait de dupliquer le contenu consiste à avoir la même ressource accessible sur plusieurs URL (c'est-à-dire plusieurs barres obliques). Cependant, s’il s’agit vraiment d’un contenu en double , le problème est un autre problème.

Pour que ce soit un "problème", les moteurs de recherche doivent rechercher les références de ces URL avant de commencer à les analyser. Et il faudra probablement un nombre important d'URL "malformées" avant de commencer à concurrencer l'URL préférée.

À moins que votre site ne génère (et ne lie pas) ces URL malformées (vous devez absolument les corriger), vous n'avez probablement pas besoin de faire quoi que ce soit.

Vous pouvez voir dans vos journaux d’accès si ces URL malformées sont consultées.

si dans chaque tentative d'accès, un nombre aléatoire de barres obliques sont utilisées.

Comment cela se passerait-il? Cela semble hautement improbable. Si je voyais cela dans les journaux, je soupçonnerais un possible bad-bot (après avoir escompté un script non autorisé) et envisagerai de bloquer la requête.

puis-je utiliser une directive Apache spéciale pour résoudre ce problème?

À ma connaissance, il n'y a pas de directive Apache unique. Apache "efface" simplement (en coulisse) les barres obliques lors de la demande d'une ressource . Les barres obliques sont toujours présentes dans l'URL. Mais quelle serait une "solution acceptée"? La redirection et le rejet d'une telle requête malformée pourraient être valides.

Vous pouvez également définir un en-tête de réponse HTTP rel="canonical" pour résoudre toute ambiguïté.

supposons que Google traite les listes de répertoires différemment des pages Web classiques?

Une page Web est une page Web. Toutefois, une "liste de répertoires" sera probablement considérée comme de mauvaise qualité (contenu?) Et ne sera probablement renvoyée dans les SERP (le cas échéant) que si l'utilisateur le recherche spécifiquement. Donc, qu’il apparaisse dans les SERPs ou non, cela ne pose aucun problème de toute façon?

1
MrWhite