Est-ce que je référence tous mes fichiers de plan de site * .xml.gz dans le fichier robots.txt
J'ai un site Web avec plus de 1 million d'URL. En tant que tel, j’ai un fichier sitemap.xml qui sert d’index à de nombreux fichiers sitemap0000.xml.gz, sitemap0001.xml.gz ... sitemap0030.xml.gz, etc.
Ma question est la suivante: dans mon fichier robots.txt, comment spécifier le fichier sitemap?
Est-ce que je ne renvoie que le sitemap.xml? Comme dans ce qui suit:
User-agent: *
Allow: /
Sitemap: www.mysite.com/sitemap/sitemap.xml
Ou dois-je aussi spécifier TOUS les fichiers * .xml.gz dans le sitemap?
Oui, ne vous référez qu'au fichier d'index . (Voir la section "Utilisation de robots.txt".) Cela mènera le robot d'exploration aux autres.