Pourquoi certains sites Web cachent-ils leurs plans de site et excluent-ils de le mentionner dans le fichier robots.txt? Cela affecte-t-il le référencement?
Beaucoup de sites Web cachent leur fichier sitemap.xml.
Ce que je veux dire par là, c'est qu'ils font de l'URL quelque chose qu'une personne ne peut pas deviner et ne les mentionnent pas ensuite dans le fichier robots.txt.
Donc ma question est pourquoi un site Web ferait ceci?
Et cela affecte-t-il le référencement?
Le fait de masquer un plan du site réduit les chances d’un robot malveillant de découvrir l’ensemble du site Web, y compris les liens uniquement publiés dans un plan du site, mais pas sur le site Web (par exemple, une page d’administration spéciale).
Il n'y a vraiment aucun effet sur le référencement. La seule façon de m'inquiéter en matière de référencement est de savoir si au moins une URL répertoriée dans un fichier sitemap génère un résultat de code d'état différent de 200 (ce qui signifie que l'URL ne renvoie pas de page Web réelle).
Cela n'affectera pas votre référencement. Tout robot d'exploration de sites Web sera en mesure de trouver le plan Sitemap HTML d'un site Web à condition qu'un lien pointant vers celui-ci soit créé.
N'oubliez pas que vous pouvez soumettre votre plan Sitemap à la plupart des consoles de moteurs de recherche. Vous n'avez pas besoin de le mentionner dans le fichier robots.txt. En utilisant l’interface utilisateur de la console des moteurs de recherche, vous pouvez soumettre un sitemap-name-you-would-like.xml. Vous n'avez pas besoin de le spécifier dans votre fichier robots.txt ni de lien dans votre site Web.