Est-ce une bonne pratique de bloquer l'exploration de la politique de confidentialité d'un site Web avec le fichier robots.txt?
Je ne suis pas sûr de devoir ou non ajouter la politique de confidentialité de mon site Web à mon fichier robots.txt. Je veux suivre de bonnes pratiques de référencement. Je n'ai aucune raison de cacher ma politique de confidentialité.
Arguments contre: Je veux être visible et non perçu comme cachant des pages juridiques. C'est peu probable, mais certains utilisateurs pourraient vraiment vouloir le trouver dans un moteur de recherche.
Arguments en faveur de: les avocats/avocats ont tendance à réutiliser ces documents, de sorte que le texte qui m'a été fourni peut ne pas être unique. La page n'est pas vraiment une page importante pour que les gens atterrissent depuis un moteur de recherche.
Aucun conseil?
Vos arguments contre le blocage de l'indexation de ces pages légales sont valables. Matt Cuts a réalisé une vidéo sur ce sujet ici en 2009:
https://www.youtube.com/watch?v=unEML5n5vTo
Bien que ce ne soit pas un "oui" ou un "non" clair de Google, la deuxième question importante à poser est "ces pages sont-elles importantes pour mes utilisateurs?" . Si oui, Google doit les trouver.
Sur la base de nos recherches que nous avons écrites sur ce sujet sur notre blog, nous constatons qu'il s'agit de pages juridiques communes. Google sait que ces règles sont obligatoires en vertu de la loi, que les pages légales ne sont pas riches en contenu et que vous êtes plus susceptible d'avoir un contenu similaire à d'autres. sites sur ces pages.
Si vous décidez de bloquer l'indexation de ces pages, utilisez la balise meta robots à la place de la balise robots.txt:
<meta name="robots" content="noindex, nofollow" />
Toute erreur dans le robots.txt pourrait faire en sorte que votre site Web ne soit pas indexé par Google. Le meta robots tag est l’option sûre pour gérer cela.
Évitez de faire référence à la page de confidentialité ou aux termes et conditions du fichier robots.txt. La meilleure pratique de référencement serait de créer un méta-robot avec noindex, nofollow les instructions dans la section head comme suit:
<meta name="robots" content="noindex,nofollow">
De cette façon, votre page de confidentialité ne sera pas indexée.
Vous devez rendre cette page accessible à l'utilisateur en créant un lien interne dans le pied de page. De cette façon, les moteurs de recherche pourront également trouver la page, puis les instructions noindex, nofollow.
Vous pouvez utiliser d'autres approches, mais pour moi, c'est la meilleure. Rendez votre site Web toujours explorable et utilisez le fichier de robots pour vous protéger et protéger les autres ressources d’exploration.