Y a-t-il un avantage / un inconvénient à utiliser le fichier robots.txt pour interdire l'accès aux pages juridiques telles que les conditions, la politique de confidentialité, etc.?
Si j'ai bien compris, le contenu répétitif nuit au positionnement dans les moteurs de recherche.
Étant donné que de nombreux sites Web utilisant des pages "Conditions d'utilisation" et "Politique de confidentialité" similaires, voire identiques, en raison d'un libellé juridique similaire ou du copier-coller de la même source, serait-il judicieux d'interdire l'accès à ces pages via robots.txt, afin d'éviter d'être pénalisé pour "contenu non original"?
Ou, au contraire, les moteurs de recherche pourraient-ils identifier cela comme un contournement et pénaliser le site pour avoir tenté de cacher du contenu?
Ou n'est-ce pas grave?
Non, ce ne sera pas grave.
Matt Cutts recommande de ne pas trop se concentrer sur cela, mais sur votre contenu: http://www.youtube.com/watch?v=unEML5n5vTo
D'une part, Google ne veut probablement pas indexer ces pages sur votre site. La plupart des mots de ces pages ne seront pas pertinents pour le reste de votre site. Si quelqu'un cherche ces mots, votre site ne fera pas une grande page de destination.
D'un autre côté, de nombreux sites ont ce type de pages, ce qui ne va pas poser de problème à Google pour les laisser les explorer. D'autres sites permettent leur exploration, votre site aussi. Voici quelques bonnes raisons pour lesquelles vous pourriez vouloir les faire explorer:
- Il y a des termes pour lesquels vous aimeriez qu'ils apparaissent dans la recherche: "contacter <marque>" ou "<marque> TOS".
- Ils constituent souvent de bons "liens de site" (les liens que Google affiche sous votre fiche lorsque quelqu'un recherche votre marque).
- Le simple fait d'avoir ces pages est la marque d'un site de bonne réputation. Vous voulez certainement que Google sache que vous disposez de ces pages pour que votre site soit réputé.
Votre site ne serait pas pénalisé pour l'avoir mis dans le fichier robots.txt, mais dans l'ensemble, le fait d'avoir ces pages explorables aidera votre site.