Devrais-je envoyer des sitmaps XML directement ou les lister dans mon fichier robots.txt?
Existe-t-il des avantages à répertorier les fichiers de plan de site XML dans robots.txt et à les envoyer directement à Google via Webmaster Tools?
Il semble que ces jours-ci, un sitemap à la racine nommé sitemap.xml soit capté par dang près de quiconque à temps.
Tout dépend de combien de contrôle vous voulez.
Si vous ne voulez pas que n'importe qui lise votre sitemap, y compris les robots de démolition, nommez-le en quelque chose d'unique et envoyez-le à Google, Bing et à qui vous voulez. Ne le mettez pas dans votre fichier robots.txt.
Si vous ne vous inquiétez pas de savoir qui lit votre sitemap, il suffit en général de créer un fichier de sitemap à la racine nommé sitemap.xml. Bing, Yandex et Baidu ont tous trouvé le mien parfaitement sans rien dans le fichier robots.txt. Cependant, si vous voulez que cela soit plus connu et plus facile à comprendre, utilisez le fichier robots.txt. Je voudrais toujours le soumettre à Google et Bing manuellement. De cette façon, vous pouvez voir des informations sur le nombre de pages indexées dans le sitemap, etc. Je ne pense pas que Google recherche spécifiquement un sitemap, s'il n'en a pas été soumis. Les choses ont peut-être changé récemment.
Considérez également que certains de ces sites de statistiques de domaine recherchent des sitemaps et les signalent. Donc, si vous le faites connaître publiquement, il sera vraiment connu de tous, y compris des script kiddies. Il y a des bots racleurs qui lisent les sitemaps et les sites d'araignées.
Bien que je n’ai rien dans mon fichier robots.txt, mon fichier sitemap se trouve à la racine et est nommé sitemap.xml. Il est signalé sur les sites de statistiques de domaine. En général, je n’ai aucun regret à ce sujet, mais une fois que le génie est sorti de la bouteille, il est difficile de revenir en arrière. Gardez cela à l’esprit.