Un plugin générateur de sitemap XML pour WordPress place les chaînes suivantes dans mon fichier robots.txt:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Mais d'autres WordPress blogs contiennent de nombreuses balises.
De plus, le nom du sitemap de mon fichier XML ressemble à ceci: sitemap.xml.gz
.
Comment ajouter d'autres paramètres possibles dans mon fichier robots.txt? Le nom du fichier XML sitemap.xml.gz
_ est-il valide et quelle est la différence entre une extension .xml
et .gz
?
Oui, sitemap.xml.gz
est un nom valide. L'extension .gz
signifie simplement qu'elle a été compressée (avec la compression gzip
), de sorte qu'elle est plus petite et servie plus rapidement. La plupart des robots des moteurs de recherche peuvent lire le contenu compressé en gzip.
Vous pouvez modifier le contenu XML du plan Sitemap en décompressant simplement sitemap.xml.gz
à l'aide d'un utilitaire de compression tel que 7-Zip
.
"Robots.txt" est distinct du sitemap.xml et peut être édité avec un éditeur de texte (sans le décompresser). Il existe de nombreux paramètres que vous pouvez ajouter au fichier "robots.txt", et cela dépend de ce que vous souhaitez atteindre. Pour plus d'informations sur les paramètres possibles, consultez Google "robots.txt" ou consultez le lien suivant: Robots.txt
XML est le langage de balisage (Extensible Markup Language) et gz (abréviation de GZip) est le format de compression dans ce cas. Tous les sitemaps doivent être au format XML, par exemple sitemap.xml ou au format XML compressé, par exemple Sitemap.xml.gz.
De plus, l'URL de votre sitemap devrait être la toute première ligne de votre fichier robots.txt et devrait se lire:
Sitemap: http://www.example.com/sitemap.xml
ou dans votre cas:
Sitemap: http://www.example.com/sitemap.xml.gz
Le but de l’utilisation de G-Zip est d’augmenter la vitesse de vos pages, ce qui est excellent pour le référencement et l’amélioration du rang. De plus, votre site Web devrait également comporter une page lisible, accessible à vos utilisateurs, appelée
sitemap.html
si vous utilisez html.